रेटिंग की परिवर्तनीय संख्या के साथ R में अंतर-रेटर विश्वसनीयता की गणना?

विकिपीडिया सुझाव देता है कि अंतर-रेटर विश्वसनीयता को देखने का एक तरीका इंट्रैक्लस सहसंबंध की गणना करने के लिए एक यादृच्छिक प्रभाव मॉडल का उपयोग करना है । इंट्राक्लास सहसंबंध का उदाहरण देखने की बात करता है

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

एक मॉडल से

Y_{i जे} = μ + α_{मैं} + ε_{मैं जे}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"जहां वाई _ij j है ^वें मैं में अवलोकन ^वें समूह, μ एक अप्रत्यक्ष समग्र मतलब α है, _मैं एक अप्रत्यक्ष यादृच्छिक प्रभाव समूह मैं में सभी मान द्वारा साझा है, और ε _ij एक अप्रत्यक्ष शोर शब्द है।"

यह विशेष रूप से एक आकर्षक मॉडल है क्योंकि मेरे डेटा में किसी भी रैटर ने सभी चीजों को रेट नहीं किया है (हालांकि अधिकांश ने 20+ रेटिंग दी है), और चीजों को कई बार (आमतौर पर 3-4) की संख्या में रेट किया गया है।

प्रश्न # 0: उस उदाहरण में "समूह i" है ("समूह i") मूल्यांकित चीजों का समूह?

प्रश्न # 1: अगर मुझे अंतर-रेटर-विश्वसनीयता की तलाश है, तो क्या मुझे दो शब्दों के साथ एक यादृच्छिक प्रभाव मॉडल की आवश्यकता नहीं है, एक रेटर के लिए, और एक चीज़ के लिए मूल्यांकन किया गया है? आखिरकार, दोनों में संभावित भिन्नता है।

प्रश्न # 2: मैं इस मॉडल को R में कैसे व्यक्त करूँगा?

ऐसा लगता है कि इस प्रश्न में एक अच्छा दिखने वाला प्रस्ताव है:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

मैंने एक दो प्रश्नों को देखा , और मेरे लिए "यादृच्छिक" पैरामीटर का वाक्य विन्यास अपारदर्शी है। मैंने lme के लिए सहायता पृष्ठ पढ़ा , लेकिन "यादृच्छिक" के लिए वर्णन मेरे लिए उदाहरणों के बिना समझ से बाहर है।

इस प्रश्न का कुछ हद तक एक के समान है लंबे समय तक सूची के सवालों के साथ, यह सबसे करीब। हालाँकि, अधिकांश आर को विस्तार से नहीं जानते हैं।

r reliability random-effects-model agreement-statistics

— dfrankow
स्रोत

मिश्रित प्रभाव मॉडल और यादृच्छिक प्रभाव वाले आर सी में एक ही तरह से कोडित रहे हैं ncbi.nlm.nih.gov/pmc/articles/PMC3402032 अधिक tuto जानकारी के लिए!

— दोपहर

आपके प्रश्न में जिस मॉडल को संदर्भित किया जाता है, उसे "वन-वे मॉडल" कहा जाता है। यह मानता है कि यादृच्छिक पंक्ति प्रभाव विचरण का एकमात्र व्यवस्थित स्रोत है। अंतर-रेटर विश्वसनीयता के मामले में, पंक्तियाँ माप की वस्तुओं (जैसे, विषयों) के अनुरूप हैं।

एक तरह से मॉडल :
$x_{i j} = μ + r_{i} + w_{i j}$ $x_{ij} = \mu + r_i + w_{ij}$ कहाँ पे $\mu$ सभी वस्तुओं के लिए माध्य है, $r_i$ पंक्ति प्रभाव है, और $w_{ij}$ अवशिष्ट प्रभाव है।

हालांकि, "दो-तरफ़ा मॉडल" भी हैं। ये मानते हैं कि यादृच्छिक पंक्ति प्रभावों के साथ-साथ यादृच्छिक या स्थिर स्तंभ प्रभावों से संबंधित विचरण है। अंतर-रेटर विश्वसनीयता के मामले में, स्तंभ माप के स्रोतों के अनुरूप हैं (जैसे, चूहे)।

दो-तरफा मॉडल :
$x_{i j} = μ + r_{i} + c_{j} + r c_{i j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ $x_{i j} = μ + r_{i} + c_{j} + e_{i जे}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ कहाँ पे $\mu$ सभी वस्तुओं के लिए माध्य है, $r_i$ पंक्ति प्रभाव है, $c_j$ स्तंभ प्रभाव है, $rc_{ij}$ बातचीत प्रभाव है, और $e_{ij}$ अवशिष्ट प्रभाव है। इन दो मॉडलों के बीच का अंतर सहभागिता प्रभाव का समावेश या बहिष्करण है।

दो-तरफ़ा मॉडल को देखते हुए, आप चार में से एक ICC गुणांक की गणना कर सकते हैं: एकल स्कोर स्थिरता ICC (C, 1), औसत स्कोर संगतता ICC (C, k), एकल स्कोर समझौता ICC (A, 1), या औसत स्कोर समझौता ICC (A, k)। एकल स्कोर ICCs एकल माप पर लागू होते हैं $x_{ij}$ (उदाहरण के लिए, व्यक्तिगत चूहे), जबकि औसत स्कोर ICCs औसत माप पर लागू होते हैं $\bar{x}_i$ (जैसे, सभी चूहे का मतलब)। कंसिस्टेंसी ICCs, कॉलम वैरिएंट को डिनोमिनेटर वेरिएशन (जैसे, चूहे को अपने मतलब के आसपास अलग-अलग रखने की अनुमति) से बाहर कर देता है, जबकि समझौते ICCs में कॉम्बिनेशन में कॉलम वेरिएंट को शामिल किया जाता है (उदाहरण के लिए, समान अर्थ के चारों ओर अलग-अलग होने के लिए रिटर की आवश्यकता होती है)।

यदि आप एक यादृच्छिक स्तंभ प्रभाव मानते हैं तो यहां ये परिभाषाएं दी गई हैं:

दो-तरफ़ा रैंडम-प्रभाव ICC परिभाषाएँ (सहभागिता प्रभाव के साथ या बिना) :
$I C C (C, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $I C C (C, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2} / k}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $I C C (A, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $I C C (A, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2}) / k}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

You can also estimate these values using mean squares from ANOVA:

Two-way ICC Estimations:
$I C C (C, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $I C C (C, k) = \frac{M S_{R} - M S_{E}}{M S_{R}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $I C C (A, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E} + k / n (M S_{C} - M S_{E})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $I C C (A, k) = \frac{M S_{R} - M S_{E}}{M S_{R} + (M S_{C} - M S_{E}) / n}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

You can calculate these coefficients in R using the irr package:

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

References

McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46.

Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.

— Jeffrey Girard
स्रोत

Thanks for the great answer! In a two-way model within icc in R, how do we represent random selection of raters per row? I mean, imagine we have a pool of 100 raters, and each subject is rated by around 5-10 of them. Can such a scenario be handled by icc package?

— michal

Each rater should have their own column in the matrix you feed to the icc function. Otherwise, the computation is the same for random and mixed effects models - the main difference is in interpretation (how generalizable the results can be considered).

— Jeffrey Girard

Thanks for the answer! I am trying to do that, having mostly NA in the cells (and only a few values with actual numbers per column, where a particular rater rated a subject corresponding to a row). However, in the output I am getting a text saying no subjects were recorded (e.g. Subjects = 0 Raters = 9 ). Perhaps it means that wherever at least one NA was found the whole row is filtered out? But then how can i denote missing ratings from a rater?

— michal

Hmm that may be a limitation of this specific icc function. I have a MATLAB script that can handle this situation. Do you happen to have access to MATLAB?

— Jeffrey Girard

Yeah, check out my website: mreliability.jmgirard.com

— Jeffrey Girard