आंतरिक या अंतराल डेटा के लिए अंतर-रेटर विश्वसनीयता

Question

ऑर्डिनल या इंटरवल डेटा के लिए कौन-से इंटर-रेटर विश्वसनीयता के तरीके सबसे उपयुक्त हैं?

मेरा मानना ​​है कि "समझौते की संयुक्त संभावना" या "कप्पा" नाममात्र डेटा के लिए डिज़ाइन किए गए हैं। जब भी "पीयरसन" और "स्पीयरमैन" का उपयोग किया जा सकता है, वे मुख्य रूप से दो चूहे के लिए उपयोग किए जाते हैं (हालांकि उनका उपयोग दो से अधिक चूहे के लिए किया जा सकता है)।

कौन से अन्य उपाय सामान्य या अंतराल डेटा के लिए उपयुक्त हैं, यानी दो से अधिक चूहे?

Answer 1

कप्पा ( ) आँकड़ा एक गुणवत्ता सूचकांक है जो केवल एक ही अवसर पर उम्मीद के साथ एक मामूली या क्रमिक पैमाने पर 2 चूहा के बीच मनाया समझौते की तुलना करता है (जैसे कि अगर चूहे उछल रहे थे)। कई चूहे के मामले के लिए एक्सटेंशन मौजूद हैं (2, पीपी। 284-291)। क्रमिक डेटा के मामले में , आप भारित उपयोग कर सकते हैं , जो मूल रूप से समझौते के माप में योगदान करने वाले ऑफ-विकर्ण तत्वों के साथ सामान्य रूप से रूप में पढ़ता है । फ्लेस (3) ने मूल्यों की व्याख्या करने के लिए दिशा-निर्देश प्रदान किए लेकिन ये केवल अंगूठे के नियम हैं।$\kappa$ $\kappa$$\kappa$$\kappa$

आंकड़ा asymptotically आईसीसी ने एक दो तरह से यादृच्छिक प्रभाव एनोवा से अनुमान के बराबर है, लेकिन महत्व परीक्षण और एसई सामान्य एनोवा ढांचे से आ रही बाइनरी डेटा के साथ अब और मान्य नहीं हैं। आत्मविश्वास अंतराल (CI) प्राप्त करने के लिए बूटस्ट्रैप का उपयोग करना बेहतर है। फ्लेस (8) ने भारित कप्पा और इंट्राक्लास सहसंबंध (आईसीसी) के बीच संबंध पर चर्चा की।$\kappa$

यह ध्यान दिया जाना चाहिए कि कुछ मनोचिकित्सक बहुत पसंद नहीं करते हैं क्योंकि यह माप की वस्तु की व्यापकता से प्रभावित होता है, जैसे कि भविष्य कहे जाने वाले रोग की व्यापकता से पूर्वसूचक मूल्य प्रभावित होते हैं, और इससे विरोधाभासी परिणाम हो सकते हैं।$\kappa$

इंटर-दर निर्धारित करने वाला विश्वसनीयता रेटर सामंजस्य की केंडल गुणांक, साथ अनुमान लगाया जा सकता । जब आइटमों या इकाइयों की संख्या जो , रेटेड हो । (2, पीपी 269-270)। यह एसिम्प्टोटिक सन्निकटन और (6) के मध्यम मूल्य के लिए मान्य है , लेकिन 20 से कम वस्तुओं के साथ या क्रमपरिवर्तन परीक्षण अधिक उपयुक्त (7) हैं। स्पीयरमैन के और केंडल के स्टेटिस्टिक के बीच एक करीबी रिश्ता है : को सीधे जोड़ीदार स्पीयरमैन सहसंबंधों (केवल अछूता टिप्पणियों के लिए) के माध्यम से गणना की जा सकती है।$k$$W$$n > 7$$k(n − 1)W \sim \chi^2(n − 1)$$n$$k$$F$$\rho$$W$$W$

इंटर-रेटर समझौते के उपाय के रूप में पोलिकोरिक (क्रमिक डेटा) सहसंबंध का भी उपयोग किया जा सकता है। वास्तव में, वे करने की अनुमति देते हैं

• अनुमान लगाएं कि यदि निरंतर पैमाने पर रेटिंग की गई तो क्या संबंध होगा?
• चूहे के बीच सीमांत समरूपता का परीक्षण करें।

वास्तव में, यह दिखाया जा सकता है कि यह अव्यक्त विशेषता मॉडलिंग का एक विशेष मामला है, जो वितरण संबंधी मान्यताओं (4) को आराम करने की अनुमति देता है।

के बारे में निरंतर (या तो मान लिया) माप, आईसीसी जो बीच-विषय परिवर्तन के विचरण कारण का अनुपात quantifies ठीक है। फिर से, बूटस्ट्रैप किए गए सीआई की सिफारिश की जाती है। जैसा कि @ars ने कहा, मूल रूप से दो संस्करण हैं - समझौता और स्थिरता - जो कि समझौते के अध्ययन (5) के मामले में लागू होते हैं, और मुख्य रूप से जिस तरह से वर्गों की राशि की गणना की जाती है, उस पर भिन्नता होती है; "स्थिरता" ICC आम तौर पर मद × रोटर बातचीत पर विचार किए बिना अनुमानित है। ANOVA फ्रेमवर्क विशिष्ट ब्लॉक डिज़ाइन के साथ उपयोगी है जहां कोई भी रेटिंग ( BIBD ) की संख्या को कम करना चाहता है - वास्तव में, यह फ्लेस के काम की मूल प्रेरणा में से एक था। यह कई चूहे के लिए जाने का सबसे अच्छा तरीका भी है। इस दृष्टिकोण के प्राकृतिक विस्तार को सामान्यता सिद्धांत कहा जाता है । रेटर मॉडल्स में संक्षिप्त विवरण दिया गया है : एक परिचय , अन्यथा मानक संदर्भ ब्रेनन की पुस्तक है, जिसकी समीक्षा साइकोमेट्रिका 2006 71 (3) में की गई है ।

सामान्य संदर्भ के लिए, मैं ग्राहम डन (होडर अर्नोल्ड, 2000) से मनोचिकित्सा में सांख्यिकी के अध्याय 3 की सिफारिश करता हूं । विश्वसनीयता अध्ययनों के अधिक संपूर्ण उपचार के लिए, तिथि का सबसे अच्छा संदर्भ है

डन, जी (2004)। विश्वसनीयता अध्ययनों का डिजाइन और विश्लेषण । अर्नोल्ड। महामारी विज्ञान के अंतर्राष्ट्रीय जर्नल में समीक्षा देखें ।

एक अच्छा ऑनलाइन परिचय जॉन Uebersax की वेबसाइट पर उपलब्ध है, इंट्राक्लास सहसंबंध और संबंधित तरीके ; इसमें आईसीसी दृष्टिकोण के पेशेवरों और विपक्षों की चर्चा शामिल है, विशेष रूप से अध्यादेशों के संबंध में।

दो-तरफा मूल्यांकन (क्रमिक या निरंतर माप) के लिए प्रासंगिक आर पैकेज साइकोमेट्रिक्स टास्क व्यू में पाए जाते हैं ; मैं आमतौर पर psy , psych या ir पैकेज का उपयोग करता हूं । कॉनकॉर्ड पैकेज भी है लेकिन मैंने कभी इसका इस्तेमाल नहीं किया। दो से अधिक चूहे से निपटने के लिए, lme4 पैकेज आसानी से यादृच्छिक प्रभावों को शामिल करने की अनुमति देने का तरीका है, लेकिन अधिकांश विश्वसनीयता डिजाइनों का विश्लेषण किया जा सकता है aov()क्योंकि हमें केवल विचरण घटकों का अनुमान लगाने की आवश्यकता है।

संदर्भ

1. जे कोहेन। भारित कप्पा: आंशिक क्रेडिट के असहमति के प्रावधान के साथ नाममात्र पैमाने का समझौता। मनोवैज्ञानिक बुलेटिन , 70 , 213–220, 1968।
2. एस सिएगल और जूनियर एन जॉन कैस्टेलन। व्यवहार विज्ञान के लिए गैरपारंपरिक सांख्यिकी । मैकग्रा-हिल, दूसरा संस्करण, 1988।
3. जेएल फ्लेस। दरों और अनुपात के लिए सांख्यिकीय तरीके । न्यूयॉर्क: विली, दूसरा संस्करण, १ ९ ,१।
4. जेएस Uebersax टेट्राकोरिक और पॉलीकोरिक सहसंबंध गुणांक । : रेटर समझौते वेब साइट, 2006 पर उपलब्ध है के लिए सांख्यिकीय तरीकों http://john-uebersax.com/stat/tetra.htm । 24 फरवरी 2010 को एक्सेस किया गया।
5. पीई श्राउट और जेएल फ्लेस। इंट्राक्लास सहसंबंध: रैटर विश्वसनीयता का आकलन करने में उपयोग करता है । मनोवैज्ञानिक बुलेटिन , 86 , 420–428, 1979।
6. एमजी केंडल और बी बबिंगटन स्मिथ। एम रैंकिंग की समस्या । एनल ऑफ मैथमैटिकल स्टैटिस्टिक्स , 10 , 275–287, 1939।
7. पी। लीजेंड्रे। समास का गुणांक । एनजे साल्किंड में, संपादक, अनुसंधान डिजाइन का विश्वकोश । SAGE प्रकाशन, 2010।
8. जेएल फ्लेस। विश्वसनीयता के उपायों के रूप में भारित कप्पा और इंट्राक्लास सहसंबंध गुणांक की समानता । शैक्षिक और मनोवैज्ञानिक मापन , 33 , 613-619, 1973।

Comments

तीन अतिरिक्त संदर्भ: 1. परे कप्पा: मौसमी बनर्जी, मिशेल कैपोज़ोली, लॉरा मैकस्वीनी, और देबज्योति सिन्हा द्वारा इंटरट्रेटर समझौते के उपायों की समीक्षा । इंटरट्रैटर विश्वसनीयता और प्रदर्शन रेटिंग का समझौता: जॉन डब्ल्यू। फ़्लेनर, जूली बी द्वारा एक पद्धतिगत तुलना । फ़्लेनॉर और विलियम एफ। ग्रॉस्निकल

— एम। टिबबिट्स

3. खेल चिकित्सा के लिए प्रासंगिक चर में माप त्रुटि (विश्वसनीयता) का आकलन करने के लिए सांख्यिकीय तरीके। एटकिंसन जी एंड नेविल ए.एम. पहला संदर्भ क्रमिक डेटा के लिए विशिष्ट है और क्रमिक डेटा के लिए कप्पा से परे अन्य उपायों पर चर्चा करता है। दूसरा और तीसरा अंतराल डेटा के लिए विशिष्ट हैं।

— एम। टिबबिट्स

(+1) बहुत धन्यवाद एम। टिबिट्स! मैं आमतौर पर मनोचिकित्सा में अपने व्याख्यान के दौरान बहुत सारे संदर्भ और उदाहरण प्रदान करता हूं, जिसमें आपने पहले उद्धृत किया था, लेकिन मैं दो अन्य को नहीं जानता था।

— chl

इसके अतिरिक्त, ऑर्डिनल पैकेज बहु-स्तरीय मॉडलिंग की अनुमति देता है जैसे कि lme4 लेकिन ऑर्डिनल रिग्रेशन के साथ।

— जॉन

Answer 2

Intraclass सहसंबंध क्रमसूचक डेटा के लिए इस्तेमाल किया जा सकता है। लेकिन कुछ चेतावनी हैं, मुख्य रूप से यह है कि चूहे को प्रतिष्ठित नहीं किया जा सकता है। इस पर अधिक जानकारी के लिए और आईसीसी के विभिन्न संस्करणों में से कैसे चुनें, देखें:

• इंट्राक्लास सहसंबंध: रेटर विश्वसनीयता का आकलन करने में उपयोग करता है (श्राउट, फ्लेस, 1979)