मुझे निम्नलिखित प्रारूप के साथ एक डाटासेट मिला है।
एक द्विआधारी परिणाम कैंसर / कोई कैंसर नहीं है। डेटासेट में मौजूद हर डॉक्टर ने हर मरीज को देखा और स्वतंत्र निर्णय दिया कि मरीज को कैंसर है या नहीं। डॉक्टर फिर 5 का विश्वास स्तर देते हैं कि उनका निदान सही है, और विश्वास स्तर कोष्ठक में प्रदर्शित किया गया है।
मैंने इस डेटासेट से अच्छे पूर्वानुमान प्राप्त करने के लिए विभिन्न तरीके आज़माए हैं।
यह मेरे लिए बहुत अच्छा काम करता है कि मैं डॉक्टरों के पार जाऊं, उनके आत्मविश्वास के स्तर को अनदेखा करूं। ऊपर की तालिका में रोगी 1 और रोगी 2 के लिए सही निदान का उत्पादन होगा, हालांकि यह गलत तरीके से कहा जाएगा कि रोगी 3 में कैंसर है, 2-1 बहुमत से डॉक्टरों को लगता है कि रोगी 3 को कैंसर है।
मैंने एक तरीका भी आजमाया, जिसमें हम बेतरतीब ढंग से दो डॉक्टरों का नमूना लेते हैं, और यदि वे एक-दूसरे से असहमत हैं, तो निर्णायक मत जो भी डॉक्टर के पास जाता है, वह अधिक आश्वस्त होता है। यह विधि किफायती है, जिसमें हमें बहुत सारे डॉक्टरों से परामर्श करने की आवश्यकता नहीं है, लेकिन यह त्रुटि दर को भी थोड़ा बढ़ा देता है।
मैंने एक संबंधित विधि की कोशिश की जिसमें हम बेतरतीब ढंग से दो डॉक्टरों का चयन करते हैं, और यदि वे एक दूसरे से असहमत हैं तो हम बेतरतीब ढंग से दो और का चयन करते हैं। यदि एक निदान कम से कम दो 'वोटों' से आगे होता है तो हम उस निदान के पक्ष में चीजों को हल करते हैं। यदि नहीं, तो हम अधिक डॉक्टरों का नमूना लेते रहते हैं। यह विधि बहुत ही किफायती है और बहुत अधिक गलतियाँ नहीं करती है।
मैं यह महसूस करने में मदद नहीं कर सकता कि मैं चीजों को करने का कुछ अधिक परिष्कृत तरीका याद कर रहा हूं। उदाहरण के लिए, मुझे आश्चर्य है कि अगर कोई तरीका है जो मैं डेटासेट को प्रशिक्षण और परीक्षण सेट में विभाजित कर सकता हूं, और निदान को संयोजित करने के लिए कुछ इष्टतम तरीके से काम कर सकता हूं, और फिर देख सकता हूं कि परीक्षण सेट पर वे कैसे प्रदर्शन करते हैं। एक संभावना कुछ प्रकार की विधि है जो मुझे डाउनवेट डॉक्टरों की अनुमति देती है जो ट्रायल सेट पर गलतियां करते रहते हैं, और शायद उच्च निदान जो आत्मविश्वास के साथ किए जाते हैं (आत्मविश्वास इस डेटासेट में सटीकता के साथ सहसंबंध रखता है)।
मुझे इस सामान्य विवरण से मेल खाते हुए विभिन्न डेटासेट मिले हैं, इसलिए नमूना आकार भिन्न होते हैं और सभी डेटासेट डॉक्टरों / रोगियों से संबंधित नहीं होते हैं। हालांकि, इस विशेष डेटासेट में 40 डॉक्टर हैं, जिनमें से प्रत्येक ने 108 मरीजों को देखा।
EDIT: यहाँ कुछ भारों का एक लिंक दिया गया है, जो मेरे @ जेरेमी-मील के उत्तर को पढ़ने से उत्पन्न होते हैं।
अनचाहे परिणाम पहले कॉलम में हैं। वास्तव में इस डेटासेट में अधिकतम आत्मविश्वास मूल्य 4 था, 5 नहीं जैसा कि मैंने पहले गलती से कहा था। इस प्रकार @ जेरेमी-मील के दृष्टिकोण का उच्चतम अंक किसी भी रोगी को मिल सकता है। 7. इसका मतलब यह होगा कि शाब्दिक रूप से प्रत्येक डॉक्टर को 4 के विश्वास स्तर के साथ उस रोगी को कैंसर था। किसी भी मरीज को मिलने वाला सबसे कम अंक वाला स्कोर 0 होता है, जिसका अर्थ यह होगा कि हर डॉक्टर 4 के आत्मविश्वास स्तर के साथ यह दावा करता है कि उस मरीज को कैंसर नहीं था।
Cronbach's अल्फा द्वारा वेटिंग। मैंने SPSS में पाया कि 0.9807 का कुल मिलाकर Cronbach's का अल्फा था। मैंने यह सत्यापित करने की कोशिश की कि क्रोनबैक की अल्फा को अधिक मैनुअल तरीके से गणना करके यह मान सही था। मैंने सभी 40 डॉक्टरों का एक सहसंयोजक मैट्रिक्स बनाया, जिसे मैं यहां पेस्ट करता हूं । फिर क्रोनबाक के अल्फा फॉर्मूला की मेरी समझ पर आधारित जहां आइटमों की संख्या है (यहां डॉक्टर 'आइटम' हैं) मैंने covariance मैट्रिक्स में सभी विकर्ण तत्वों को गणना की है , और सभी तत्वों में योग करने के लिए सहसंयोजक मैट्रिक्स। मैं तब मिला मैंने तब 40 विभिन्न क्रोनबाक अल्फा परिणामों की गणना की, जो प्रत्येक डॉक्टर द्वारा हटाए जाने पर उत्पन्न होंगे। डाटासेट। मैंने किसी भी डॉक्टर को भारित किया जिसने क्रोनबच के अल्फा में शून्य में नकारात्मक योगदान दिया। मैं बचे हुए डॉक्टरों के वजन के साथ क्रोनबेक के अल्फा के लिए उनके सकारात्मक योगदान के लिए आया था।
कुल आइटम सहसंबंधों द्वारा भार। मैं सभी कुल आइटम सहसंबंधों की गणना करता हूं, और फिर प्रत्येक डॉक्टर को उनके सहसंबंध के आकार के आनुपातिक वजन।
प्रतिगमन गुणांक द्वारा भार।
एक बात मुझे अभी भी यकीन नहीं है कि यह कैसे कहना है कि कौन सी विधि दूसरे की तुलना में "बेहतर" काम कर रही है। पहले मैं पीयरस स्किल स्कोर जैसी चीजों की गणना कर रहा था, जो ऐसे उदाहरणों के लिए उपयुक्त है जिनमें एक द्विआधारी भविष्यवाणी और एक द्विआधारी परिणाम है। हालाँकि, अब मेरे पास 0 से 1 के बजाय 0 से 7 तक के पूर्वानुमान हैं। क्या मुझे सभी भारित स्कोर> 3.50 से 1, और सभी भारित स्कोर <3.50 से 0 में बदलना चाहिए?
Cancer (4)
के पूर्वानुमान से संबंधित है No Cancer (4)
। हम जानते हैं कि यह नहीं कह सकते No Cancer (3)
और Cancer (2)
एक ही हैं, लेकिन हम कह सकते हैं एक निरंतरता है, और इस सातत्य में मध्यम अंक हैं Cancer (1)
और No Cancer (1)
।
No Cancer (3)
हैCancer (2)
? यह आपकी समस्या को थोड़ा सरल करेगा।