बहु-प्रश्न परीक्षा में धोखा देने के पैटर्न का पता लगाना

सवाल:

मेरे पास परीक्षा के सवालों (सही / गलत) पर बाइनरी डेटा है। कुछ व्यक्तियों के पास प्रश्नों और उनके सही उत्तरों के सबसे पहले उपयोग हो सकता है। मैं नहीं जानता कि कौन, कितने या कौन से हैं। अगर कोई धोखा थे, लगता है मुझे आइटम के लिए एक सही प्रतिक्रियाओं की संभावना को मॉडल हैं के रूप में , जहां सवाल कठिनाई का प्रतिनिधित्व करता है और व्यक्ति की अव्यक्त की क्षमता है। यह एक बहुत ही सरल आइटम प्रतिक्रिया मॉडल है जिसे आरटी में ltm के rasch () जैसे कार्यों के साथ अनुमान लगाया जा सकता है। अव्यक्त चर के अनुमानों के अलावा (जहां इंडेक्स व्यक्तियों), मेरे पास अलग-अलग अनुमानों तक पहुंच है $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ $\hat{z}_j$ $j$ $\hat{q}_j$ एक ही अव्यक्त चर जो दूसरे डेटासेट से प्राप्त किया गया था जिसमें धोखा देना संभव नहीं था।

लक्ष्य उन व्यक्तियों की पहचान करना है जो संभावना को धोखा देते हैं और जिन वस्तुओं को उन्होंने धोखा दिया है। कुछ दृष्टिकोण क्या आप ले सकते हैं? कच्चे डेटा के अलावा, , , और सभी उपलब्ध हैं, हालांकि पहले दो में धोखा होने के कारण कुछ पूर्वाग्रह होंगे। आदर्श रूप से, समाधान संभाव्य क्लस्टरिंग / वर्गीकरण के रूप में आएगा, हालांकि यह आवश्यक नहीं है। औपचारिक विचारों के रूप में व्यावहारिक विचारों का बहुत स्वागत किया जाता है। $\hat{\beta}_i$ $\hat{z}_j$ $\hat{q}_j$

अब तक, मैंने उच्च बनाम निम्न स्कोर (जहां साथ व्यक्तियों के जोड़े के लिए प्रश्न स्कोर के सहसंबंध की तुलना की है संभावना है कि वे धोखा दिया की एक मोटा सूचकांक)। उदाहरण के लिए, मैंने व्यक्तियों को और फिर व्यक्तियों के प्रश्न स्कोर के क्रमिक जोड़े के सहसंबंध को तैयार किया। मैंने उन व्यक्तियों के लिए स्कोर के औसत सहसंबंध की साजिश रचने की कोशिश की, जिनकी मान से अधिक थे मात्रात्मक , एक समारोह के रूप में । किसी भी दृष्टिकोण के लिए कोई स्पष्ट पैटर्न नहीं। $\hat{q}_j -\hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $n^{th}$ $\hat{q}_j - \hat{z}_j$ $n$

अद्यतन करें:

मैंने @SheldonCooper और सहायक फ़्रीकोनॉमिक्स पेपर से विचारों के संयोजन को समाप्त किया जो @whuber ने मुझे इंगित किया। अन्य विचारों / टिप्पणियों / आलोचनाओं का स्वागत है।

चलो व्यक्ति के सवाल पर द्विआधारी स्कोर । आइटम रिस्पांस मॉडल अनुमान लगाएं जहां आइटम की पैरामीटर है और एक अव्यक्त क्षमता चर है; (अधिक जटिल मॉडल को प्रतिस्थापित किया जा सकता है; I मेरे आवेदन में 2PL का उपयोग कर रहा हूँ)। जैसा कि मैंने अपने मूल पोस्ट में उल्लेख किया है, मेरे पास अलग-अलग डेटासेट (अलग-अलग आइटम, एक ही व्यक्ति) से क्षमता चर का अनुमान है। जो धोखा देना संभव नहीं था। विशेष रूप से, ऊपर समान आइटम प्रतिक्रिया मॉडल से अनुभवजन्य अनुमान हैं। $X_{ij}$ $j$ $i$

एल ओ जी मैं टी (पी आर ({एक्स}_{मैं j} = 1 | z_{j}) = β_{मैं} + z_{j},

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$

β_{i}

$\beta_i$

z_{j}

$z_j$

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

अवलोकन किए गए स्कोर की संभावना , आइटम की सहजता और व्यक्ति की क्षमता पर सशर्त, लिखा जा सकता है जहां भविष्यवाणी की संभावना है एक सही प्रतिक्रिया, और प्रतिलोम है। फिर, मद और व्यक्ति विशेषताओं पर सशर्त, संयुक्त संभावना है कि व्यक्ति टिप्पणियों है है और इसी तरह, उस आइटम संयुक्त संभाव्यता टिप्पणियों है $x_{ij}$

{पी}_{मैं j} = पी आर ({एक्स}_{मैं j} = {एक्स}_{मैं j} | \hat{β_{मैं}}, \hat{{क्ष}_{j}}) = {पी}_{मैं j} (\hat{β_{मैं}}, \hat{{क्ष}_{j}})^{{एक्स}_{मैं j}} (1 - {पी}_{मैं j} (\hat{β_{मैं}}, \hat{{क्ष}_{j}}))^{1 - {एक्स}_{मैं j}},

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

{पी}_{j} = \underset{मैं}{Π} {पी}_{मैं j},

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$ हैसबसे कम मान वाले व्यक्ति वे हैं जिनके देखे गए स्कोर सशर्त रूप से कम से कम होने की संभावना है - वे संभवतः थिएटर हैं। न्यूनतम मान वाले आइटम वे हैं जो सशर्त रूप से कम से कम होने की संभावना है - वे संभव लीक / साझा किए गए आइटम हैं। यह दृष्टिकोण मान्यताओं पर निर्भर करता है कि मॉडल सही हैं और उस व्यक्ति के स्कोर व्यक्ति और आइटम विशेषताओं पर असहसंबद्ध सशर्त है। हालांकि दूसरी धारणा का उल्लंघन समस्याग्रस्त नहीं है, जब तक कि सहसंबंध की डिग्री व्यक्तियों में भिन्न नहीं होती है, और लिए मॉडल को आसानी से बेहतर किया जा सकता है (जैसे, अतिरिक्त व्यक्ति या आइटम विशेषताओं को जोड़कर)।

{पी}_{मैं} = \underset{j}{Π} {पी}_{मैं j} ।

$p_i = \prod_j p_{ij}.$

p_{j}

$p_j$

p_{j}

$p_j$

j

$j$

p_{i j}

$p_{ij}$

एक अतिरिक्त कदम मैंने कोशिश की है कि कम से कम संभावना वाले व्यक्तियों का% (यानी छंटे हुए p_j मानों के सबसे कम r% वाले व्यक्ति) लेने के लिए, उनके देखे गए स्कोर x_j के बीच औसत दूरी की गणना करें (जो कि निम्न आर वाले व्यक्तियों के लिए सहसंबद्ध होना चाहिए, जो संभव थिएटर हैं), और इसे r = 0.001, 0.002, ..., 1.000 के लिए प्लॉट करें। माध्य दूरी r = 0.001 से r = 0.025 तक बढ़ जाती है, अधिकतम तक पहुँच जाती है, और फिर r = 1. पर धीरे-धीरे कम से कम गिरावट आती है। ठीक वैसा ही जैसा मैं उम्मीद कर रहा था।

r clustering classification psychometrics

— lockedoff
स्रोत

यह एक कठिन समस्या है क्योंकि आपको धोखा देने की प्रकृति के बारे में बहुत कम जानकारी है। आप एक छात्र से एक चीटर को कैसे अलग करते हैं जिसने अतिरिक्त कठिन अध्ययन किया है? अधिक जानकारी के बिना, आप नहीं कर सकते। एक संभावना यह है कि यदि छात्र एक-दूसरे को कॉपी करके धोखा दे सकते हैं, या यदि छात्रों के सबसेट के समान उत्तरों तक पहुंच होती है। यदि यह मामला है, तो आप छात्रों के बीच एक दूरी समारोह बना सकते हैं (कम दूरी का मतलब है कि वे एक ही सवाल पर अच्छा प्रदर्शन करते हैं) और यहां पैटर्न की तलाश करें। यह अधिक निर्णायक आईएमओ होगा।

— rm999

लेविट और Dubner में उनके दृष्टिकोण का वर्णन Freakonomics ( freakonomicsmedia.com )।

— whuber

@ rm999 स्पष्ट करने के लिए, थियेटरों के पास सवालों के एक ही सबसेट तक पहुंच थी (उदाहरण के लिए, परीक्षा प्रशासन से पहले एक आंशिक उत्तर कुंजी लीक हो गई थी)। मुझे धोखा देने में कोई दिलचस्पी नहीं है जो शायद नकल करने से हुई हो। यदि यह अस्पष्ट है तो मैं सप्ताहांत पर अपने प्रश्न को संशोधित करूंगा।

— लॉक

@whuber धन्यवाद, मैं पेपर देखूंगा (यह प्रकाशित किया गया है)। मैंने ऑडियोबुक की बात सुनी, लेकिन वे इस बात का विवरण याद नहीं रख सके कि उन्होंने कैसे चेटर्स की पहचान की (जो शिक्षक थे जो छात्रों के उत्तरों को तोड़ रहे थे, मुझे विश्वास है)।

— लॉक

अगर मुझे फ्रीकोनॉमिक्स का मामला याद आता है, तो इसमें उसी स्कूल / कक्षा के बच्चों को शामिल करना शामिल था, जिनके पास (ए) एक साल पहले की तुलना में बड़े कूदता था, (बी) पहले के आसान सवालों के अलग-अलग उत्तर, और (सी) समान अनुक्रम बाद के कठिन प्रश्नों के उत्तर, इसलिए उत्तर देने के लिए एक शिक्षक का सुझाव देना, जो बच्चों ने खाली छोड़ दिया था।

— हेनरी

जवाबों:

तदर्थ दृष्टिकोण

मुझे लगता है कि यह बहुत ही छात्रों पर अनुमान लगाया गया था, क्योंकि सवाल पर धोखा नहीं किया था क्योंकि काफी विश्वसनीय है । प्रत्येक छात्र , बढ़ती कठिनाई के क्रम में प्रश्नों को क्रमबद्ध करें, गणना करें (ध्यान दें कि $\beta_i$ $i$ $j$ $\beta_i + q_j$ $q_j$ बस एक निरंतर ऑफसेट है) और इसे कुछ उचित स्थान (जैसे पी (सही) <0.6) पर थ्रेशोल्ड करें। यह उन प्रश्नों का एक सेट देता है जिनका छात्र सही उत्तर देने की संभावना नहीं रखता है। अब आप यह देखने के लिए परिकल्पना परीक्षण का उपयोग कर सकते हैं कि क्या इसका उल्लंघन हुआ है, जिस स्थिति में छात्र ने धोखा दिया है (निश्चित रूप से आपका मॉडल सही है)। एक चेतावनी यह है कि यदि इस तरह के कुछ सवाल हैं, तो आपके पास परीक्षण के विश्वसनीय होने के लिए पर्याप्त डेटा नहीं हो सकता है। इसके अलावा, मुझे नहीं लगता कि यह निर्धारित करना संभव है कि उसने किस प्रश्न पर धोखा दिया, क्योंकि उसके पास अनुमान लगाने का 50% मौका है। लेकिन अगर आप यह मानते हैं कि कई छात्रों को प्रश्नों का एक ही सेट (और धोखा) मिल गया है, तो आप इन छात्रों से तुलना कर सकते हैं और देख सकते हैं कि किन सवालों के जवाब संयोग से अधिक बार मिले।

आप प्रश्नों के साथ एक समान चाल कर सकते हैं। प्रत्येक प्रश्न के लिए , द्वारा छात्रों को , जोड़ें (यह अब एक निरंतर ऑफसेट है) और 0.6 पर सीमा। यह आपको उन छात्रों की एक सूची देता है, जिन्हें इस प्रश्न का सही उत्तर देने में सक्षम नहीं होना चाहिए। इसलिए उनके पास अनुमान लगाने का 60% मौका है। फिर से, परिकल्पना परीक्षण करें और देखें कि क्या यह उल्लंघन है। यह केवल तभी काम करता है जब अधिकांश छात्र प्रश्नों के एक ही सेट पर धोखा देते हैं (जैसे कि परीक्षा से पहले प्रश्नों का एक उपसमुच्चय 'लीक' हो जाता है)। $q_j$ $\beta_i$

राजसी दृष्टिकोण

प्रत्येक छात्र के लिए, बर्नौली के साथ बाइनरी चर है, कुछ उपयुक्त संभावना के साथ, यह दर्शाता है कि छात्र एक चीटर है। प्रत्येक प्रश्न के लिए बाइनरी चर , फिर से पहले कुछ उपयुक्त बर्नौली के साथ, यह दर्शाता है कि प्रश्न लीक हुआ था या नहीं। फिर बाइनरी वैरिएबल का एक सेट है , जो दर्शाता है कि छात्र ने प्रश्न सही उत्तर दिया है। यदि और , तो का वितरण 0.99 के साथ बर्नौली है। अन्यथा वितरण । ये देखे गए चर हैं। $c_j$ $l_i$ $a_{ij}$ $j$ $i$ $c_j = 1$ $l_i = 1$ $a_{ij}$ $logit(\beta_i + q_j)$ $a_{ij}$ $c_j$ और छिपे हुए हैं और इसका अनुमान होना चाहिए। आप शायद इसे गिब्स नमूना करके कर सकते हैं। लेकिन अन्य दृष्टिकोण भी संभव हो सकते हैं, शायद बायसलरिंग से संबंधित कुछ। $l_i$

— शेल्डन कूपर
स्रोत

मैं आपके उत्तर का पहला भाग पढ़ता हूं और सोचता हूं कि यह आशाजनक है। दो त्वरित नोट्स - यह बहुविकल्पी था इसलिए सही अनुमान लगाने की संभावनाएं 25% या 20% हैं। आप सही हैं कि हम मान सकते हैं कि परीक्षा से पहले प्रश्नों का एक सबसेट लीक हो गया था। रविवार या सोमवार को इस पर लौट आएंगे।

— लॉकऑफ

यदि आप कुछ और जटिल दृष्टिकोणों में उतरना चाहते हैं, तो आप आइटम प्रतिक्रिया सिद्धांत मॉडल देख सकते हैं। फिर आप प्रत्येक प्रश्न की कठिनाई को मॉडल कर सकते हैं। जिन छात्रों को आसान चीज़ों को याद करने के दौरान मुश्किल से सही चीजें मिलीं, मुझे लगता है, उन लोगों की तुलना में धोखा देने की संभावना अधिक होगी, जिन्होंने रिवर्स किया था।

इस तरह की बात करते हुए मुझे एक दशक से अधिक समय हो गया है, लेकिन मुझे लगता है कि यह आशाजनक हो सकता है। अधिक विवरण के लिए, साइकोमेट्रिक्स पुस्तकों की जाँच करें

— बहाल करें
स्रोत

आमतौर पर, धोखाधड़ी या अनुमान लगाना सीधे IRM में शामिल किया जा सकता है। यह सार है कि एक 3-पीएल मॉडल क्या करने का इरादा रखता है, क्योंकि इसमें कठिनाई , भेदभाव और अनुमान लगाने के लिए एक पैरामीटर शामिल है , जो एक आइटम के समर्थन की संभावना के लिए एक निम्न स्पर्शक के रूप में कार्य करता है। हालांकि, यह ज्यादातर स्थितियों में अवास्तविक साबित हुआ है, और अन्य समर्पित व्यक्ति-फिट आँकड़े (साथ ही शैक्षिक परीक्षण या मनोवैज्ञानिक मूल्यांकन) में विकसित किए गए हैं। मीजर, व्यक्ति-फिट शोध: एक परिचय। एपीएम (1996), 9: 3-8 में अब्राह्मण प्रतिक्रिया पैटर्न पर एक अच्छी समीक्षा है।

— chl

@chl धन्यवाद! मैंने इस सामान का स्नातक स्कूल में अध्ययन किया, लेकिन यह बहुत पहले था - मेरी आखिरी कक्षा 1996 या उसके बाद थी।

— पीटर Flom - को पुनः स्थापित मोनिका

@chl आपके सुझावों के लिए धन्यवाद। मेरे प्रश्न में मॉडल वास्तव में एक आइटम प्रतिक्रिया मॉडल (एक रैश या 1 एलपी मॉडल निर्धारित भेदभाव पैरामीटर के साथ) है। मुझे लगता है कि असामान्य प्रदर्शन वाले व्यक्तियों को देखने का सुझाव एक अच्छी शुरुआत है, लेकिन मैं एक ऐसे दृष्टिकोण की तलाश कर रहा हूं जो कि चीटर्स द्वारा उन वस्तुओं के लिए प्रतिक्रियाओं में प्रदान की गई अतिरिक्त जानकारी का लाभ उठाता है जिनके लिए धोखा था। आप कल्पना कर सकते हैं कि यदि हमने आपकी प्रक्रिया का उपयोग करके थिएटरों की पहचान की है, उदाहरण के लिए, वे समान कठिन वस्तुओं पर अच्छा प्रदर्शन करेंगे।

— लॉक