अलग-अलग कठिनाइयों के सवालों से स्पीयरमैन-ब्राउन भविष्यवाणी फॉर्मूला कैसे प्रभावित होता है?

स्पीयरमैन-ब्राउन की भविष्यवाणी के परिणाम कैसे अलग-अलग कठिनाइयों या चूहे जो आसान या कठोर होते हैं, के परीक्षण प्रश्न होने से प्रभावित होते हैं। एक सम्मानित पाठ कहता है कि एसबी प्रभावित है, लेकिन विवरण नहीं देता है। (नीचे बोली देखें।)

गियोन, आर। एम। (2011)। आकलन, मापन और कार्मिक निर्णयों के लिए भविष्यवाणी, द्वितीय संस्करण। पृष्ठ 477

"स्पीयरमैन-ब्राउन समीकरण का उपयोग करके, पूलिंग रैटर्स द्वारा विश्वसनीयता बढ़ाई जा सकती है। ... यदि एकल रेटिंग की विश्वसनीयता .50 है, तो दो, चार, या छह समानांतर रेटिंग की विश्वसनीयता लगभग ।67,806 होगी। , और .86, क्रमशः "(ह्यूस्टन, रेमंड, और Svec, 1991, पृष्ठ 409)। मुझे यह उद्धरण पसंद है क्योंकि यह शब्द लगभग पहचानता है कि सांख्यिकीय अनुमान "औसतन" हैं, अगर सभी अनुमान लगाए जाते हैं तो क्या उम्मीद की जा सकती है। उससे परे, ऑपरेटिव शब्द समानांतर है। रेटिंग्स का उपयोग करना (या स्पीयरमैन-ब्राउन का उपयोग करना) यदि एक रैटर है, उदाहरण के लिए, व्यवस्थित रूप से उदार, बस धारणा को फिट नहीं करता है। यदि निबंध दो रेटर्स द्वारा रेट किए गए हैं, तो एक दूसरे की तुलना में अधिक उदार है, समस्या असमान कठिनाई के दो बहुविकल्पीय परीक्षणों (गैर-समानांतर रूप) का उपयोग करने की तरह है। भिन्न (असमान) परीक्षण रूपों पर आधारित स्कोर तुलनीय नहीं हैं। तो यह उदार और कठिन चूहे को मिलाने के साथ है; शास्त्रीय परीक्षण सिद्धांत के स्पीयरमैन-ब्राउन समीकरण द्वारा पूल किए गए रेटिंग की विश्वसनीयता का गलत अनुमान लगाया गया है। यदि प्रत्येक न्यायाधीश किसी निर्माण को थोड़ा अलग तरीके से परिभाषित करता है तो मामले और बदतर होते हैं। "

reliability psychometrics

— जोएल डब्ल्यू।
स्रोत

मुझे लगता है कि विश्वसनीय स्रोत की तलाश में समस्या यह है कि उत्तर परीक्षण सिद्धांत से आता है, और यह स्पष्ट है कि यदि आप अंतर्निहित सिद्धांत को समझते हैं, और विशेष रूप से विश्वसनीयता का आकलन करने की हमारी क्षमता की सीमाएं हैं। इसलिए Guion इसे समझाने की जहमत नहीं उठाता। लेकिन वैसे भी आपकी खोज में शुभकामनाएँ - शायद कोई, कहीं बेहतर स्पष्टीकरण के बारे में जानता है।

— जेरेमी माइल्स

जवाबों:

हालाँकि मुझे लगता है कि एक छोटे से सम्मानित पाठ के साथ-साथ एक अन्य सीवी उपयोगकर्ता के प्रति विरोधाभास थोड़ा अजीब है, लेकिन मुझे लगता है कि स्पीयरमैन-ब्राउन फॉर्मूला अलग-अलग कठिनाई की वस्तुओं से प्रभावित नहीं है। यह सुनिश्चित करने के लिए, स्पीयरमैन-ब्राउन सूत्र आमतौर पर इस धारणा के तहत लिया जाता है कि हमारे पास समानांतर आइटम हैं, जिसका अर्थ है (अन्य चीजों के बीच) जिसमें आइटम को समान कठिनाई होती है। लेकिन यह पता चला है कि यह धारणा आवश्यक नहीं है; असमान कठिनाइयों की अनुमति देने के लिए इसे आराम दिया जा सकता है, और स्पीयरमैन-ब्राउन फार्मूला अभी भी धारण करेगा। मैं इसे नीचे प्रदर्शित करता हूं।

याद रखें कि क्लासिकल परीक्षण सिद्धांत रूप में, एक माप एक "सच्चा स्कोर" घटक का योग माना जाता है और एक त्रुटि घटक , यह है कि, के साथ और असहसंबद्ध। समानांतर वस्तुओं की धारणा यह है कि सभी वस्तुओं का समान स्कोर होता है, केवल उनकी त्रुटि घटकों में भिन्नता होती है, हालांकि यह माना जाता है कि उनमें समान भिन्नता है। प्रतीक, के आइटम किसी भी जोड़ी के लिए में और , $X$ $T$ $E$

एक्स = टी + इ,

$X = T + E,$

T

$T$

E

$E$

X

$X$

X^{'}

$X'$

आइए देखें कि क्या होता है जब हम पहली धारणा को शांत करते हैं, जैसे कि आइटम उनकी कठिनाइयों में भिन्न हो सकते हैं, और फिर इन नई मान्यताओं के तहत कुल परीक्षण स्कोर की विश्वसनीयता प्राप्त कर सकते हैं। विशेष रूप से, मान लें कि सही स्कोर एक एडिटिव स्थिरांक से भिन्न हो सकते हैं, लेकिन त्रुटियों में अभी भी एक ही भिन्नता है। प्रतीकों में,

टी = {टी}^{'} वर (इ) = वर (इ^{'}) ।

$T=T' \\\textrm{var}(E)=\textrm{var}(E').$

कठिनाई में किसी भी अंतर को योगात्मक स्थिरांक द्वारा पकड़ लिया जाता है। उदाहरण के लिए, यदि

, तो पर स्कोर

पर स्कोर की तुलना में अधिक हो जाते हैं

, ताकि

की तुलना में "आसान" है

। हम इनअनिवार्य रूप से समानांतरवस्तुओं को "आवश्यक ताऊ-तुल्यता" की धारणा के अनुरूपकह सकते हैंजो ताऊ-समान मॉडल को एक समान तरीके से आराम देता है।

टी = {टी}^{'} + {सी}^{'} वर (इ) = वर (इ^{'}) ।

$T=T' + c' \\\textrm{var}(E)=\textrm{var}(E').$

c^{'} > 0

$c'>0$

X

$X$

X^{'}

$X'$

X

$X$

X^{'}

$X'$

$k$ $\rho = \sigma^2_T/(\sigma^2_T+\sigma^2_E)$ $\sigma^2_T$ $\sigma^2_E$

\begin{aligned} वर (Σ_{मैं = 1}^{क} {टी}_{मैं} + इ_{मैं}) & = वर (Σ_{मैं = 1}^{क} टी + {सी}_{मैं} + इ_{मैं}) \\ = क^{2} σ_{टी}^{2} + क σ_{इ}^{2}, \end{aligned}

$\begin{aligned} \textrm{var}(\sum_{i=1}^kT_i + E_i) &= \textrm{var}(\sum_{i=1}^kT + c_i + E_i) \\ &= k^2\sigma^2_T + k\sigma^2_E, \end{aligned}$

T

$T$

σ_{T}^{2}

$\sigma^2_T$

σ_{E}^{2}

$\sigma^2_E$

\begin{aligned} \frac{क^{2} σ_{टी}^{2}}{क^{2} σ_{टी}^{2} + क σ_{इ}^{2}} & = \frac{क σ_{टी}^{2}}{क σ_{टी}^{2} + σ_{एक्स}^{2} - σ_{टी}^{2}} \\ = \frac{क ρ}{1 + (क - 1) ρ}, \end{aligned}

$\begin{aligned} \frac{k^2\sigma^2_T}{k^2\sigma^2_T + k\sigma^2_E} &= \frac{k\sigma^2_T}{k\sigma^2_T + \sigma^2_X - \sigma^2_T} \\&= \frac{k\rho}{1+(k-1)\rho}, \end{aligned}$

@JeremyMiles कुछ दिलचस्प और महत्वपूर्ण बिंदुओं को उठाता है कि जब हम परीक्षण की अवधि बढ़ाते हैं तो क्या हो सकता है "वास्तविक दुनिया में," लेकिन कम से कम शास्त्रीय परीक्षण सिद्धांत की आदर्शित मान्यताओं के अनुसार, आइटम कठिनाई में भिन्नता की विश्वसनीयता के लिए कोई फर्क नहीं पड़ता। टेस्ट फॉर्म (आधुनिक मद रिस्पांस थ्योरी की मान्यताओं के विपरीत)! तर्क करने की यही मूल रेखा यह भी है कि क्यों हम आमतौर पर ताऊ-तुल्यता के बजाय आवश्यक ताऊ-तुल्यता की बात करते हैं , क्योंकि अधिकांश महत्वपूर्ण परिणाम अधिक उदार मामले के लिए पकड़ रखते हैं जहां आइटम कठिनाइयां (यानी, साधन) भिन्न हो सकती हैं।

— जेक वेस्टफॉल
स्रोत

हाँ, अच्छी बात है। मैंने जो लिखा वह जरूरी नहीं है।

— जेरेमी माइल्स

यह कहना आसान नहीं है।

सबसे पहले, स्पीयरमैन-ब्राउन मानता है कि परीक्षण आइटम (या रैटर) को परीक्षण वस्तुओं (या रैटर) की आबादी से बेतरतीब ढंग से नमूना लिया जाता है। यह वास्तव में सच नहीं है, विशेष रूप से परीक्षणों का, क्योंकि अधिक आइटम बनाना कठिन है, और यह संभव है कि आप शुरू करने के लिए बेहतर वस्तुओं का उपयोग करेंगे - फिर आप पाएंगे कि परीक्षण लंबे समय तक होने की आवश्यकता है, इसलिए आप वस्तुओं के लिए 'बैरल खुरचें'।

दूसरा, आइटम उनकी विश्वसनीयता में भिन्न होते हैं, और विश्वसनीयता कठिनाई से संबंधित नहीं होती है (यदि यह मदद करता है, तो आइटम प्रतिक्रिया सिद्धांत में आइटम विशेषता वक्र के ढलान और अवरोधन के बारे में सोचें)। हालांकि, विश्वसनीयता की गणना (कहते हैं, क्रोनबाक के अल्फा, जो इंट्रा-क्लास सहसंबंध का एक रूप है) यह मानते हैं कि रिलेबिलिबिलिटी सभी समान हैं (वे एक आवश्यक ताऊ-समतुल्य माप मॉडल मानते हैं - अर्थात, प्रत्येक आइटम की अस्वास्थ्यकर मूल्यांकन विश्वसनीयता सभी हैं) बराबरी का)। यह लगभग निश्चित रूप से गलत है। आइटम जोड़ना ऊपर जा सकता है, नीचे जा सकता है। यह वस्तुओं पर निर्भर करता है।

यह सोचने का एक और तरीका यहाँ है। मैं बेतरतीब ढंग से आबादी से एक नमूना का चयन करता हूं, और माध्य की औसत और मानक त्रुटि की गणना करता हूं। वह माध्य जनसंख्या माध्य का निष्पक्ष अनुमानक होगा। फिर मैं अपने नमूने का आकार बढ़ाता हूं - माध्य का अपेक्षित मूल्य समान है, लेकिन यह संभावना नहीं है कि यह वास्तव में समान होगा - यह लगभग निश्चित रूप से ऊपर या नीचे जाएगा। जैसे मैं मानक त्रुटि को छोटा होने की उम्मीद करता हूं, लेकिन यह सिकुड़ती हुई राशि सुसंगत नहीं होगी (और मानक त्रुटि बड़ी होने के लिए यह असंभव नहीं है।)

— जेरेमी मील
स्रोत

क्या एसबी फॉर्मूला अपेक्षित विश्वसनीयता के लिए न्यूनतम, अधिकतम या कुछ मध्यवर्ती मूल्य देता है? इसके अलावा, चूंकि सहसंबंधों के संदर्भ में रिलायबिलिटीज की गणना की जाती है, इसलिए आसान / कठिन वस्तुओं या चूहे पर कोई प्रभाव नहीं पड़ता है?

— जोएल डब्ल्यू

SB सूत्र अपेक्षित विश्वसनीयता देता है। यह इससे अधिक या कम हो सकता है। एक समस्या यह है कि विश्वसनीयता की गणना करने के लिए एक से अधिक तरीके हैं, और वे जो धारणाएं बनाते हैं वे शायद ही कभी संतुष्ट हैं। पूरी बात शास्त्रीय परीक्षण सिद्धांत में निहित है - आइटम प्रतिक्रिया सिद्धांत माप के बारे में सोचने का एक अधिक आधुनिक तरीका है, और यह अधिक समय का बहुत अर्थ देता है, उदाहरण के लिए, एक परीक्षण की विश्वसनीयता प्रत्येक के लिए समान नहीं है। आईआरटी में व्यक्ति।

— जेरेमी मील्स

यदि कोई प्रश्न बहुत कठिन है, या बहुत आसान है, तो यह सहसंबंध को प्रभावित कर सकता है। उदाहरण के लिए "7 * 11" 3 जी ग्रेड के लिए एक विश्वसनीय प्रश्न हो सकता है, लेकिन गणित के स्नातक के लिए, यह नहीं है।

— जेरेमी मील्स

<परीक्षण को लंबा होने की आवश्यकता है, इसलिए आप आइटम के लिए 'बैरल को कुरेदेंगे'। स्पष्ट रूप से आपको वास्तविक विश्व का अनुभव एक साथ परीक्षण करने का था।

— जोएल डब्ल्यू