पी-वैल्यू को कई तुलनाओं में सही करने के लिए कब?

Question

मुझे डर है कि संबंधित सवालों का जवाब मेरा नहीं था। हम> 2 क्लासिफायर (मशीन लर्निंग) के प्रदर्शन का मूल्यांकन करते हैं। हमारी अशक्त परिकल्पना यह है कि प्रदर्शन अलग नहीं होते हैं। हम इस परिकल्पना का मूल्यांकन करने के लिए पैरामीट्रिक (एनोवा) और गैर पैरामीट्रिक (फ्रीडमैन) परीक्षण करते हैं। यदि वे महत्वपूर्ण हैं, तो हम यह पता लगाना चाहते हैं कि कौन से क्लासिफायरियर एक पोस्ट-हॉक खोज में भिन्न हैं।

मेरा सवाल दुगना है:

1) कई तुलनाओं के परीक्षण के बाद पी-वैल्यू का सुधार आवश्यक है? "अल्फाफेलर कुमुलियुंग" पर जर्मन विकिपीडिया साइट का कहना है कि समस्या केवल तब होती है जब एक ही डेटा पर कई परिकल्पनाओं का परीक्षण किया जाता है। क्लासिफायर (1,2), (1,3), (2,3) की तुलना करते समय, डेटा केवल आंशिक रूप से ओवरलैप होता है। क्या अभी भी पी-वैल्यू को सही करना आवश्यक है?

2) पी-वैल्यू करेक्शन का इस्तेमाल अक्सर टी-टेस्ट के साथ पेयरवाइज टेस्टिंग के बाद किया जाता है। क्या यह भी आवश्यक है जब Nemenyi's (नॉन-पैरामीट्रिक) या Tukey's HSC टेस्ट जैसे विशेष पोस्ट-हॉक टेस्ट कर रहे हों? यह उत्तर कहता है कि टकी के एचएसडी के लिए "नहीं": क्या तुकी एचएसडी परीक्षण कई तुलनाओं के लिए सही है? । क्या कोई नियम है या क्या मुझे हर संभावित पोस्ट-हॉक टेस्ट के लिए इसे देखना होगा?

धन्यवाद!

Comments

आप एनोवा और फ्रीडमैन दोनों टेस्ट क्यों कर रहे हैं ?

— एलेक्सिस

यह एक स्वचालित परीक्षण ढांचे के बारे में है जो समीक्षक को पैरामीट्रिक और गैर-पैरामीट्रिक दोनों विकल्पों के साथ प्रदान करना चाहिए, यदि पैरामीट्रिक मान्यताओं को पूरा नहीं किया गया है।

— क्रिस

आपके द्वारा उल्लिखित सर्वग्राही परीक्षणों के बारे में: (ए) यदि आपके डेटा समूह स्वतंत्र हैं, तो आपको एनोवा (पैरामीट्रिक) या क्रुस्कल-वालिस (गैर पैरामीट्रिक) परीक्षण का उपयोग करना चाहिए; (बी) यदि आपके समूह आश्रित हैं (उदाहरण के लिए, दोहराए गए उपाय) तो आपको एनोवा (पैरामीट्रिक) या फ्रीडमैन (गैर पैरामीट्रिक) परीक्षण में दोहराए गए उपायों का उपयोग करना चाहिए। (शास्त्रीय) एनोवा और फ्रीडमैन परीक्षण इसके विकल्प के रूप में सही नहीं है।

— 11

Answer 1

प्रश्न 1 का उत्तर 1
यदि आपको उस प्रकार की संभावना की परवाह है जिस पर आप टाइप I त्रुटि करेंगे, तो आपको कई तुलनाओं के लिए समायोजित करने की आवश्यकता है। रूपक / विचार प्रयोग का एक सरल संयोजन मदद कर सकता है:

कल्पना करें कि आप लॉटरी जीतना चाहते हैं। यह लॉटरी, अजीब तरह से, आपको जीतने का 0.05 मौका देती है (यानी 20 में 1)। एम इस लॉटरी में टिकट की लागत है, जिसका अर्थ है कि एक लॉटरी कॉल के लिए आपका अपेक्षित रिटर्न एम / 20 है। अब भी अजनबी, कल्पना करें कि अज्ञात कारणों के लिए, यह लागत, एम , आपको बहुत से लॉटरी टिकटों की अनुमति देता है जैसा आप चाहते हैं (या कम से कम दो से अधिक)। अपने आप को सोचते हुए "जितना अधिक आप खेलते हैं, जितना अधिक आप जीतते हैं" आप टिकटों का एक गुच्छा पकड़ते हैं। लॉटरी कॉल पर आपका अपेक्षित रिटर्न अब M / 20 नहीं है, बल्कि कुछ बड़ा है। अब "एक प्रकार की त्रुटि कर रहा है" के साथ "लॉटरी जीतने" को बदलें।

यदि आप त्रुटियों के बारे में परवाह नहीं करते हैं, और आप बार-बार लोगों की परवाह नहीं करते हैं और मज़ाक से जेलीबीन के बारे में एक निश्चित कार्टून पर अपना ध्यान केंद्रित करते हैं , तो आगे बढ़ें और कई तुलनाओं के लिए समायोजित न करें।

"परिवार" की अवधारणा कुछ अस्पष्ट है, क्योंकि "एक ही डेटा" मुद्दा परिवार-वार त्रुटि सुधार विधियों (जैसे बोनफेरोनी, होल्म-सिडक, आदि) में उत्पन्न होता है । हालाँकि, झूठी खोज दर विधियाँ (जैसे कि बेंजामिनी और होचबर्ग, बेंजामिनी और येयकटेली, आदि) के पास एक संपत्ति है कि उनके परिणाम अनुमानों के विभिन्न समूहों में मजबूत हैं।

$\alpha$

Comments

+1 एक व्यापक और विनोदी उत्तर के लिए (और xkcd का संदर्भ देने के लिए)। विशेष रूप से, आपने मेरे अभी तक असंतुलित प्रश्न से निपटा है कि क्या "बोनफेरोनि-टेस्ट" और "बोनफेरोनी-करेक्शन" में अंतर है। फिर भी, क्या आप मेरे समस्या वर्णन के संदर्भ में कई तुलनाओं की समस्या को समझेंगे? मैं समझता हूं कि एक क्लासीफायर एक उपचार समूह की तरह है जिसमें कॉमिक में कोई नीला / हरा / हरा ... जेली बीन्स नहीं है।

— क्रिस

$p$$p$

मुझे लगता है कि यह ठीक है, बहुत बहुत धन्यवाद! मेरे उपयोग-मामले में लॉटरी के उदाहरण को लागू करने में मुझे कुछ और समय लग सकता है, लेकिन मुझे यह विचार मिला।

— क्रिस

@ क्रिस समझते हैं कि लॉटरी सिर्फ एक रूपक थी। यदि आपको एफडब्ल्यूईआर या एफडीआर विधियों को लागू करने में सहायता की आवश्यकता है, तो विकिपीडिया प्रविष्टियों की जांच करें, संबंधित प्रश्नों की खोज करें या, शायद, इस बारे में एक नया प्रश्न पूछें। :)

— एलेक्सिस