यदि कई तुलना "नियोजित" हैं, तो क्या आपको अभी भी कई तुलनाओं के लिए सही करने की आवश्यकता है?

Question

मैं एक ऐसे पेपर की समीक्षा कर रहा हूं जिसने 15 अलग 2x2 ची स्क्वायर परीक्षण किए हैं। मैंने सुझाव दिया है कि उन्हें कई तुलनाओं के लिए सही करने की आवश्यकता है, लेकिन उन्होंने कहा है कि सभी तुलनाओं की योजना बनाई गई थी, और इसलिए यह आवश्यक नहीं है।

मुझे लगता है कि यह सही नहीं होना चाहिए लेकिन ऐसा कोई भी संसाधन नहीं मिल सकता है जो स्पष्ट रूप से बताए कि क्या यह मामला है।

किसी को भी इस के साथ मदद करने में सक्षम है?

---

अपडेट करें:

आपकी बहुत उपयोगी प्रतिक्रियाओं के लिए धन्यवाद। अध्ययन और विश्लेषण के बारे में कुछ और जानकारी के लिए @ गंग के अनुरोध के जवाब में, वे दो स्थितियों में दो प्रकार के प्रतिभागियों (छात्रों, गैर-छात्रों) के डेटा की तुलना तीन समयावधि में कर रहे हैं। कई 2x2 ची स्क्वायर परीक्षण प्रत्येक प्रकार के प्रतिभागी के लिए, प्रत्येक स्थिति में, (यदि यह समझ में आता है; उदाहरण के लिए, छात्र 1, समय अवधि 1 बनाम समय अवधि 2), तो प्रत्येक विश्लेषण एक ही परिकल्पना का परीक्षण कर रहे हैं। ।

Comments

कई लोग जो कई तुलना करते हैं, उन सभी को प्राथमिकता देने की योजना है । वे ऐसा इसलिए करते हैं क्योंकि वे समग्र प्रकार I त्रुटि दर को नियंत्रित करना चाहते हैं। कुछ स्थितियों में यह कई तुलनाओं के लिए सही नहीं होने के लिए उचित हो सकता है, लेकिन यह उन सभी को शुरू से करने की योजना बनाने का मामला नहीं है।

— Glen_b -Reinstate मोनिका

क्या आप अध्ययन, उनके डेटा और विश्लेषण के बारे में थोड़ा और कह सकते हैं? क्या सभी संभावित तुलनाओं के लिए> १५ राशि , या केवल एक छोटा%? उनके पास कितना डेटा है? यह कितना प्रशंसनीय है कि परिकल्पनाएँ सभी-प्राथमिकताएं थीं? क्या वे सभी महत्वपूर्ण हैं? क्या ची-स्क्वेर्ड परीक्षण एक दूसरे से स्वतंत्र हैं? @ Peuhp के उत्तर में उठाए गए कुछ प्रश्नों पर भी विचार करें।

— गूँग - मोनिका

क्योंकि "वे" महत्वपूर्ण परिणाम खोजने में रुचि रखते हैं, उनकी प्रतिक्रिया स्वयं-सेवा है। इसलिए बोझ उन पर यह प्रदर्शित करने के लिए है कि उनका दृष्टिकोण वैध क्यों है, बल्कि यह दिखाने के लिए कि यह नाजायज है। यह दिखाने का कोई भी प्रयास कि कई तुलनाओं के सुधारों की उपेक्षा की जा सकती है, जैसे ही वह कागज़ की झूठी झूठी सकारात्मक दर पर विचार करता है, वैसे ही विफल हो जाएगा, और इसलिए "उन्हें" या तो (असंतुष्ट रूप से) उस मुद्दे पर विचार करने से बचना चाहिए या फिर एक अच्छा विषय प्रदान करना चाहिए यह उनके इच्छित दर्शकों के लिए कोई चिंता का विषय नहीं है।

— whuber

मैं इस XKCD स्ट्रिप के लिंक के साथ प्रतिक्रिया देने के लिए व्यर्थ ही ललचाऊंगा (जो, जैसा कि आप ध्यान दें, इसमें कई परीक्षणों की एक पूरी तरह से नियोजित श्रृंखला शामिल है ...)।

— इल्मरी करोनें ११'१

Answer 1

यह IMHO एक जटिल मुद्दा है और मैं इस स्थिति के बारे में तीन टिप्पणियां करना चाहूंगा।

पहले और आम तौर पर, मैं इस बात पर अधिक ध्यान दूंगा कि क्या आप एक तर्कपूर्ण संदर्भ में परिभाषित अच्छी तरह से आकार की परिकल्पनाओं के एक समूह के साथ एक पुष्टिकरण अध्ययन का सामना करते हैं या एक व्याख्यात्मक अध्ययन जिसमें कई संभावित संकेतक देखे जाते हैं कि क्या वे नियोजित हैं या नहीं (क्योंकि आप कर सकते हैं बस सभी संभव तुलना करने की योजना)।

दूसरा, मैं इस बात पर भी ध्यान दूंगा कि परिणामी पी-मूल्यों की चर्चा कैसे की जाती है। क्या वे व्यक्तिगत रूप से निश्चित निष्कर्षों के एक सेट की सेवा के लिए उपयोग किए जाते हैं, या क्या उन्हें संयुक्त रूप से सबूत और सबूत की कमी के रूप में चर्चा की जाती है?

अंत में, मैं इस संभावना पर चर्चा करूंगा कि> 15 अलग-अलग ची-स्क्वेर्ड परीक्षणों के परिणामस्वरूप होने वाली 15 परिकल्पनाएं वास्तव में कुछ एकल परिकल्पनाओं (शायद एक एकल) की अभिव्यक्ति हैं जिन्हें संक्षेप में प्रस्तुत किया जा सकता है।

आम तौर पर, इस बात की परवाह किए बिना कि परिकल्पना को निर्धारित किया गया है या नहीं, कई तुलनाओं के लिए सही होना या न होना इस बात का विषय है कि आप किस प्रकार की त्रुटि में शामिल हैं। MC के लिए सही न करके, आप केवल प्रति तुलना प्रकार I त्रुटि दर नियंत्रण रखते हैं। तो कई तुलनाओं के मामले में, आपके पास एक उच्च परिवार-वार प्रकार I त्रुटि दर है और इस प्रकार अधिक झूठी खोज प्रवण हैं।

Comments

(+1) यह स्पेलिंग के लायक हो सकता है कि प्रयोग-वार त्रुटि दर पंद्रह व्यक्तिगत तुलनाओं द्वारा नियोजित नहीं है; दूसरी ओर, प्रोटोकॉल में परिकल्पित नहीं किए गए पंद्रह से परे संभावित तुलनाओं को कई-तुलनात्मक सुधारों में ध्यान में नहीं रखा जाना चाहिए।

— Scortchi - को पुनः स्थापित मोनिका

@Sortchi आपके इनपुट के लिए धन्यवाद, लेकिन मुझे समझ में नहीं आ रहा है कि "प्रयोग-वार त्रुटि दर पंद्रह व्यक्तिगत तुलनाओं द्वारा नियोजित होने से नियंत्रित नहीं होती है" क्या मतलब है?

— Peuhp

बस मूल बिंदु है कि यदि आप एक या एक से अधिक टाइप I बनाने की अशांति के तहत संभाव्यता को नियंत्रित करना चाहते हैं, तो उन सभी परीक्षणों में आप कई तुलनात्मक प्रक्रिया का उपयोग करने की आवश्यकता है। मैं केवल इसका उल्लेख करता हूं क्योंकि मैं इस मामले पर पहले भ्रम में आया हूं।

— Scortchi - को पुनः स्थापित मोनिका

ध्यान दें कि यह एक ही मुद्दा एक बहुत हाल ही में थ्रेड में आया: एकाधिक तुलनाओं के पोस्ट हॉक अनुप्रयोग ।

— माइकल आर। चेरनिक

@Scortchi। इस स्पष्टीकरण और इनपुट के लिए ठीक है धन्यवाद, यह वास्तव में मेरे उत्तर में स्पष्ट रूप से निर्दिष्ट किया जाना चाहिए। इससे जोड़ देंगे।

— पीहू

Answer 2

डिज़ाइन पर आपके अपडेट को देखते हुए मैं यह सुझाव दूंगा कि वे एक साथ सभी डेटा का उपयोग करने के लिए लॉग-लीनियर मॉडल का कुछ रूप बनाते हैं। उनके द्वारा किए गए टुकड़ा-भोजन के विश्लेषण से लगता है कि (a) अक्षम (b) अवैज्ञानिक है क्योंकि यह 15 परिकल्पनाओं का परीक्षण करता है जहां निश्चित रूप से कम वास्तविक परिकल्पनाएं हैं।

मैं एक वातानुकूलित पलटा के रूप में बहुलता के लिए सही करने का प्रशंसक नहीं हूं, लेकिन इस मामले में यदि वे एक गहरी विश्लेषणात्मक दृष्टिकोण को अस्वीकार करते हैं तो मैं उन्हें सही करने का सुझाव दूंगा।

Comments

$k$$15$

$\chi^2$

Answer 3

यदि आप 'पूर्व नियोजित' शब्द को 'नियोजित' के लिए प्रतिस्थापित करते हैं, तो यह लेखकों द्वारा दिए गए तर्क को दूर करने में मदद कर सकता है। एक ही डेटा के दो अलग-अलग सांख्यिकीय विश्लेषणों पर विचार करें:

1. एक 'पूर्व-निर्धारित अपराध' जिसमें हर संभव परिकल्पना परीक्षण को 'सांख्यिकीय आपराधिक मास्टरमाइंड' द्वारा अग्रिम रूप से निर्धारित किया जाता है, योजना को हर एक को व्यवस्थित रूप से आज़माया जा सकता है और परीक्षण को 'सबसे महत्वपूर्ण खोज' के रूप में सबसे छोटे p- मान के साथ चुना जाता है। परिणाम, चर्चा और पेपर के निष्कर्ष वर्गों, और वास्तव में शीर्षक के रूप में अच्छी तरह से बढ़ावा देने के लिए।
2. एक 'जुनून का अपराध' जिसमें प्रारंभिक मंशा केवल एक परिकल्पना के साथ डेटा का सामना करने की थी, लेकिन "अच्छी तरह से ... एक चीज दूसरे की ओर जाती है" और एकाधिक तदर्थ परिकल्पना परीक्षण "बस होता है" वैज्ञानिक जुनून की गर्मी में डेटा से "कुछ ... कुछ भी! " सीखें ।

किसी भी तरह से, यह 'हत्या' है - सवाल यह है कि क्या यह पहली डिग्री या दूसरी डिग्री में है। स्पष्ट रूप से, पहला नैतिक रूप से अधिक समस्याग्रस्त है। यह मुझे ऐसा लगता है जैसे यहाँ के लेखक कुछ इस आशय का दावा करने का प्रयास कर रहे हैं कि यह हत्या नहीं थी क्योंकि यह पूर्व नियोजित था।

Comments

लेकिन कई तुलना करना अपराध नहीं है, पूर्व निर्धारित या नहीं। पी-शिकार है।

— एबी एबी

Answer 4

यह पत्र सीधे आपके सवाल का जवाब देता है: http://jrp.icaap.org/index.php/jrp/article/view/514/417

(फ्रेंक, एवी, "नियोजित परिकल्पना परीक्षण बहुविकल्पीय समायोजन से जरूरी नहीं हैं", जर्नल ऑफ रिसर्च प्रैक्टिस, 2015)