यदि शोधकर्ताओं का एक दल किसी दिए गए डेटा सेट पर कई (परिकल्पना) परीक्षण करता है, तो इस बात पर जोर दिया जाता है कि कई परीक्षण (बोनफेरोनी, इत्यादि) के लिए कुछ सुधार का उपयोग करना चाहिए, भले ही परीक्षण स्वतंत्र हों। मेरा सवाल यह है: क्या यह एक ही तर्क एक ही डेटा सेट पर परिकल्पना का परीक्षण करने वाली कई टीमों पर लागू होता है? एक और तरीका बताया- परिवार-वार त्रुटि गणना के लिए बाधा क्या है? क्या शोधकर्ता केवल अन्वेषण के लिए डेटा सेटों का पुन: उपयोग करने तक सीमित होना चाहिए?
जवाबों:
मैं एक ही जांच के भीतर कई-परिकल्पना सुधार के महत्व को पहचानने से @fcoppens छलांग से दृढ़ता से असहमत हूं, यह दावा करने के लिए कि "एक ही तर्क से, एक ही धारण करता है यदि कई दल इन परीक्षणों का प्रदर्शन करते हैं।"
इसमें कोई सवाल नहीं है कि अधिक अध्ययन किए जाते हैं और अधिक परिकल्पनाओं का परीक्षण किया जाता है, अधिक टाइप I त्रुटियां होंगी। लेकिन मुझे लगता है कि "परिवार-वार त्रुटि" दरों के अर्थ पर यहाँ एक भ्रम है और वे वास्तविक वैज्ञानिक कार्यों में कैसे लागू होते हैं।
सबसे पहले, याद रखें कि बहु-परीक्षण सुधार आमतौर पर पोस्ट-हॉक तुलनाओं में उत्पन्न हुए थे, जिसके लिए पहले से तैयार की गई परिकल्पना नहीं थी। यह बिल्कुल स्पष्ट नहीं है कि जब हाइपोथेसिस का एक छोटा पूर्व निर्धारित सेट होता है तो उसी सुधार की आवश्यकता होती है।
दूसरा, एक व्यक्तिगत प्रकाशन का "वैज्ञानिक सत्य" प्रकाशन के भीतर प्रत्येक व्यक्ति के कथन की सच्चाई पर निर्भर नहीं करता है। एक अच्छी तरह से डिज़ाइन किया गया अध्ययन कई अलग-अलग दृष्टिकोणों से एक समग्र वैज्ञानिक (सांख्यिकीय के विपरीत) परिकल्पना के करीब पहुंचता है, और वैज्ञानिक परिकल्पना का मूल्यांकन करने के लिए विभिन्न प्रकार के परिणामों को एक साथ रखता है। प्रत्येक व्यक्तिगत परिणाम का मूल्यांकन एक सांख्यिकीय परीक्षण द्वारा किया जा सकता है।
तथापि @fcoppens से तर्क करके, भले ही एक उन व्यक्तिगत सांख्यिकीय परीक्षण के तो एक प्रकार मैं त्रुटि है कि एक " 'वैज्ञानिक सत्य' की गलत धारणा" करने के लिए होता है। यह केवल गलत है।
एक प्रकाशन में वैज्ञानिक परिकल्पना का "वैज्ञानिक सत्य" , एक व्यक्तिगत सांख्यिकीय परीक्षण की वैधता के विपरीत, आमतौर पर विभिन्न प्रकार के साक्ष्य के संयोजन से आता है। कई प्रकार के सबूतों पर जोर एक वैज्ञानिक परिकल्पना की वैधता को व्यक्तिगत गलतियों से मजबूत बनाता है जो अनिवार्य रूप से होती हैं। जैसा कि मैं अपने 50 या इतने वैज्ञानिक प्रकाशनों को देखता हूं, मुझे किसी भी चीज को खोजने के लिए कड़ी मेहनत करनी पड़ेगी जो कि हर विवरण में इतनी निर्दोष बनी रहती है जैसे @fcoppens जोर देकर कहती है। अभी तक मैं इसी तरह मुश्किल लगता करने के लिए दबाया हूँ किसी भी जहां वैज्ञानिकपरिकल्पना बिलकुल गलत थी। अधूरा, शायद; क्षेत्र में बाद के घटनाक्रमों से अप्रासंगिक बना, निश्चित रूप से। लेकिन उस समय वैज्ञानिक ज्ञान की स्थिति के संदर्भ में "गलत" नहीं।
तीसरा, तर्क टाइप II त्रुटियों को बनाने की लागतों की अनदेखी करता है। एक प्रकार की द्वितीय त्रुटि होनहार वैज्ञानिक जांच के पूरे क्षेत्रों को बंद कर सकती है। यदि @fcoppens की सिफारिशों का पालन किया जाना था, तो टाइप II त्रुटि दर बड़े पैमाने पर, वैज्ञानिक उद्यम की गिरावट के लिए बढ़ेगी।
अंत में, सिफारिश व्यवहार में पालन करना असंभव है। यदि मैं सार्वजनिक रूप से उपलब्ध डेटा के एक सेट का विश्लेषण करता हूं, तो मेरे पास यह जानने का कोई तरीका नहीं हो सकता है कि किसी और ने इसका उपयोग किया है, या किस उद्देश्य से। मेरे पास किसी और की परिकल्पना परीक्षणों के लिए सही करने का कोई तरीका नहीं है। और जैसा कि मैं ऊपर तर्क देता हूं, मुझे नहीं करना चाहिए।
सांख्यिकीय परिकल्पना परीक्षण में, कोई केवल शून्य को अस्वीकार करके वैकल्पिक परिकल्पना के लिए सांख्यिकीय प्रमाण प्राप्त कर सकता है, शून्य को अस्वीकार करने से हमें यह निष्कर्ष निकालने की अनुमति मिलती है कि वैकल्पिक परिकल्पना के पक्ष में सबूत हैं। (यह भी देखें कि यदि हम अशक्त परिकल्पना को अस्वीकार करने में असफल रहे तो क्या होगा? )।
अतः अशक्त की एक झूठी अस्वीकृति हमें झूठे प्रमाण देती है इसलिए '' वैज्ञानिक सत्य '' का गलत विश्वास। यही कारण है कि इस प्रकार मैं मुद्रास्फीति (I त्रुटि के प्रकार के लगभग दोगुना) से बचा जाना चाहिए; उच्च प्रकार मैं त्रुटियों को गलत तरीके से अधिक गलत विश्वास देता है कि कुछ वैज्ञानिक रूप से सिद्ध है । इसलिए लोग परिवार के स्तर पर Ierror को 'नियंत्रित' करते हैं।
एक ही तर्क से, एक ही धारण करता है अगर कई टीम इन परीक्षणों (एक ही डेटा पर) का प्रदर्शन करती हैं।
जाहिर है, उपरोक्त निष्कर्ष केवल तभी पकड़ते हैं जब हम टीम एक ही डेटा पर काम करते हैं । जब वे विभिन्न नमूनों पर काम करते हैं तो क्या अलग होता है?
इसलिए यदि हम एक ही डेटा का उपयोग करते हैं, तो यह हो सकता है कि परीक्षणों के निष्कर्ष एक नमूने पर आधारित हों जो '' खराब मौका '' के साथ खींचा गया हो। एक अन्य नमूने के साथ संदर्भ अलग है।