कंप्यूटिंग कोहेन का कप्पा विचरण (और मानक त्रुटियां)

Question

दो रैपरों के बीच समझौते को मापने के लिए कोप्पा [1] द्वारा 1960 में कप्पा ( ) को पेश किया गया था। हालाँकि, इसका विचरण काफी समय से विरोधाभासों का स्रोत रहा था।$\kappa$

मेरा सवाल यह है कि बड़े नमूनों के साथ उपयोग किए जाने वाला सबसे अच्छा विचरण गणना कौन सा है। मुझे विश्वास है कि फ्लीस [2] द्वारा परीक्षण और सत्यापित किया गया एक सही विकल्प होगा, लेकिन यह केवल वही प्रकाशित नहीं लगता है जो सही प्रतीत होता है (और हाल ही के साहित्य में इसका उपयोग किया गया है)।

अभी मेरे पास इसके विषम बड़े नमूना विचरण की गणना करने के दो ठोस तरीके हैं:

• फ्लेश, कोहेन और एवरिट [2] द्वारा प्रकाशित सही विधि;
• डेल्टा विधि जो कि कॉलगैटन, 2009 [4] (पृष्ठ 106) द्वारा पुस्तक में पाई जा सकती है।

इस भ्रम की कुछ व्याख्या करने के लिए, यहाँ फ्लेश, कोहेन और एवरिट द्वारा उद्धरण [2], मेरा जोर दिया गया है:

अंतिम सफलता प्राप्त करने से पहले कई मानव प्रयासों को बार-बार विफलताओं के साथ शापित किया गया है। माउंट एवरेस्ट की स्केलिंग इसका एक उदाहरण है। नॉर्थवेस्ट पैसेज की खोज एक सेकंड है। कप्पा के लिए एक सही मानक त्रुटि की व्युत्पत्ति एक तिहाई है ।

तो, यहाँ क्या हुआ का एक छोटा सा सारांश है:

• 1960: कोहेन ने अपने पेपर "नाममात्र के तराजू के लिए समझौते का गुणांक" प्रकाशित किया [1] जिसमें दो रैपरों के बीच समझौते का मौका-सही उपाय पेश किया गया, जिसे कहा जाता है । हालाँकि, वह विचरण गणना के लिए गलत सूत्र प्रकाशित करता है।$\kappa$
• 1968: एवरिट ने उन्हें ठीक करने का प्रयास किया, लेकिन उनके सूत्र भी गलत थे।
• 1969: फ्लेस, कोहेन और एवरिट ने पेपर में बड़े फॉर्मूले "काप्पा और वेटेड कप्पा के बड़े सैंपल स्टैंडर्ड एरर्स" [2] में सही फॉर्मूले प्रकाशित किए।
• 1971: फ्लीस ने एक और नाम के तहत एक और आँकड़ा (लेकिन एक अलग) प्रकाशित किया , जिसमें चर के लिए गलत सूत्र हैं।$\kappa$
• 1979: फ्लीस नी और लैंडिस ने फ्लीस के के सही फॉर्मूले प्रकाशित किए ।$\kappa$

सबसे पहले, निम्नलिखित संकेतन पर विचार करें। यह अंकन का तात्पर्य है कि सारांश ऑपरेटर को उन सभी तत्वों पर लागू किया जाना चाहिए जिस पर डॉट रखा गया है:

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ $\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

अब, कप्पा की गणना कर सकते हैं:

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

जिसमें

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$ मनाया गया प्रस्ताव है, और

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$ मौका समझौता है।

अब तक, कोहेन के के लिए सही विचरण गणना निम्न द्वारा दी गई है:$\kappa$

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

और शून्य परिकल्पना के तहत यह इसके द्वारा दिया गया है:

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

वैरिएंट्स प्राप्त करने के लिए डेल्टा विधि के आधार पर कॉन्ग्ल्टन की विधि लगती है (एग्रेस्टी, 1990; एगेस्टी, 2002); हालाँकि, मुझे यकीन नहीं है कि डेल्टा विधि क्या है या इसका उपयोग क्यों किया जाना है। विचरण, इस पद्धति के अंतर्गत, द्वारा दिया जाता है:$\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

जिसमें

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton एक का उपयोग करता है की तुलना में एक नहीं बल्कि सबस्क्रिप्ट , लेकिन यह एक ही बात मतलब है लगता है। इसके अलावा, मुझे लगता है कि मान रहा हूँ एक गिनती मैट्रिक्स, होना चाहिए यानी नमूनों की संख्या के रूप में से विभाजित किए जाने से पहले भ्रम मैट्रिक्स सूत्र ) से संबंधित$+$$.$$n_{ij}$$p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

एक और अजीब हिस्सा यह है कि कोलगटन की किताब कोहेन द्वारा मूल पेपर का उल्लेख करती है, लेकिन फ्लेस एट अल द्वारा प्रकाशित कप्पा संस्करण में सुधारों का हवाला नहीं देती है, जब तक कि वह भारित कप्पा पर चर्चा करने के लिए नहीं जाती। शायद उनका पहला प्रकाशन तब लिखा गया था जब कप्पा का असली फॉर्मूला अभी भी भ्रम में था?

क्या कोई यह समझाने में सक्षम है कि वे अंतर क्यों हैं? या कोई व्यक्ति फ्लेस द्वारा सही किए गए संस्करण के बजाय डेल्टा विधि के विचरण का उपयोग क्यों करेगा?

[१]: फ्लेस, जोसेफ एल।; कोहेन, जैकब; एवरिट, बीएस; कप्पा और भारित कप्पा की बड़ी नमूना मानक त्रुटियां। मनोवैज्ञानिक बुलेटिन, वॉल्यूम 72 (5), नवंबर 1969, 323-327। doi: 10.1037 / h0028106

[२]: कोहेन, जैकब (१ ९ ६०)। नाममात्र माप के लिए समझौते का एक गुणांक। शैक्षिक और मनोवैज्ञानिक मापन 20 (1): 37-46। DOI: 10.1177 / 001316446002000104।

[३]: एलन एगेस्टी, श्रेणीबद्ध डेटा विश्लेषण, दूसरा संस्करण। जॉन विली एंड संस, 2002।

[४]: रसेल जी। कांगाल्टन और ग्रीन, के .; सुदूर स्थित डेटा की सटीकता का आकलन: सिद्धांत और व्यवहार, दूसरा संस्करण। 2009।

Comments

आपके कुछ कोष्ठक बंद हैं, क्या आप कृपया उन्हें ठीक कर सकते हैं? इसके अलावा, आप नेस्टेड कोष्ठकों को {[(x + y) ^ z + a] ^ b - c} के रूप में प्रारूपित कर सकते हैं ताकि उन्हें अधिक पठनीय बनाया जा सके।

— StasK

भी, कृपया दे ही है, और वैकल्पिक बराबर योगों यदि वे मौजूद। विशिष्ट वैकल्पिक योगों के आधार पर, प्रसरण अभिव्यक्तियों को प्राप्त करना आसान हो सकता है। (मैं गिन्नी इंडेक्स के बारे में सोच रहा हूं, जिसके लिए iid डेटा के लिए पाँच या तो योग हैं जो जटिल सर्वेक्षण डेटा के लिए पूरी तरह से भिन्न भिन्न अनुमान $\kappa$

— लगाते हैं

प्रतिक्रिया के लिए धन्यवाद। मैंने सूत्रों को ठीक किया है और जोड़ा है कि कप्पा की गणना कैसे की जाती है। कप्पा सूत्रीकरण पूरे साहित्य में सुसंगत लगता है, केवल इसका विचरण नहीं होता है।

— सीजर

वैसे, मैंने अभी देखा कि कॉलगैटन की पुस्तक पर एक मुद्रण त्रुटि क्या प्रतीत होती है: वह को परिभाषित करता है , लेकिन यह कहीं से भी आता है। मुझे लगता है कि यह , अन्यथा मुझे यकीन नहीं है कि यह बहुत समझ में आता है। $p_c = \sum_{i=1}^k p_{i+} p_{+j}$$j$$p_c = \sum_{i=1}^k p_{i+} p_{+i}$

— सीजर

मैं कम से कम आपको इस भाग के साथ एक हाथ दे सकता हूं: "मुझे इस बात पर यकीन नहीं है कि डेल्टा विधि क्या है" - en.wikipedia.org/wiki/Delta_method और वहाँ विचरण यहाँ

— Glen_b

Answer 1

मुझे नहीं पता कि विचरण की गणना करने के लिए दो तरीकों में से कौन सा पसंद करना है, लेकिन मैं आपको कोहेन के कप्पा के बायेसियन अनुमान का उपयोग करके आत्मविश्वास / विश्वसनीय अंतराल की गणना करने के लिए एक तीसरा, व्यावहारिक और उपयोगी तरीका दे सकता हूं।

आर और Jags नीचे कोड कापा के विश्वसनीय मान डेटा दिया का पिछला वितरण से एमसीएमसी नमूने उत्पन्न करता है।

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

नीचे दिया गया प्लाट कप्पा के पीछे के वितरण से MCMC नमूनों का घनत्व प्लॉट दिखाता है।

MCMC नमूनों का उपयोग करते हुए अब हम कापा के अनुमान के रूप में माध्य मूल्य का उपयोग कर सकते हैं और 95% आत्मविश्वास / विश्वसनीय अंतराल के रूप में 2.5% और 97.5% मात्रा का उपयोग कर सकते हैं।

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890 

इसकी तुलना "क्लासिकल" अनुमानों के साथ करें, जो फ्लेस, कोहेन और एवरिट के अनुसार गणना की जाती है:

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

व्यक्तिगत रूप से मैं क्लासिकल आत्मविश्वास अंतराल पर बेइज़ियन विश्वास अंतराल को पसंद करूंगा, खासकर जब से मेरा मानना ​​है कि बायेसियन विश्वास अंतराल में बेहतर छोटे नमूना गुण हैं। बेसेनियन विश्लेषण के साथ लोगों की एक सामान्य चिंता यह है कि आपको मापदंडों के वितरण के बारे में पूर्व मान्यताओं को निर्दिष्ट करना होगा। सौभाग्य से, इस मामले में, सभी मापदंडों पर समान रूप से समान वितरण डालकर "उद्देश्य" पुजारियों का निर्माण करना आसान है। इसे बेपियन मॉडल के परिणाम को कप्पा गुणांक के "शास्त्रीय" गणना के समान बनाना चाहिए।

संदर्भ

संजीब बसु, मौसमी बनर्जी और आनंद सेन (2000)। सिंगल और मल्टिपल स्टडीज से कप्पा के लिए बायेसियन इन्वेंशन। बॉयोमीट्रिक्स , वॉल्यूम। 56, नंबर 2 (जून, 2000), पीपी। 577-582

Comments

क्या आप जानते हैं कि दो से अधिक चूहे के लिए इसका विस्तार है?

— फोमाइट