समय की सुबह के बाद से सभी प्रयोगों के लिए कई परिकल्पना सुधार क्यों लागू नहीं किए गए हैं?

हम जानते हैं कि झूठी खोज दर को नियंत्रित करने के लिए, हमें एक एकल डेटा सेट के आधार पर प्रयोगों के लिए कई परिकल्पना परीक्षण के लिए बेंजामिन होचबर्ग-जैसे सुधारों को लागू करना चाहिए, अन्यथा सकारात्मक परिणाम देने वाले सभी प्रयोग झूठे हो सकते हैं।

लेकिन हम समय की शुरुआत से ही सभी प्रयोगों के लिए यही सिद्धांत लागू नहीं करते हैं, चाहे डेटा कहां से आता हो?

आखिरकार, आधे से अधिक प्रकाशित वैज्ञानिक परिणामों को "महत्वपूर्ण" माना जाता है जो अब झूठे और अपूरणीय हैं, और ऐसा कोई कारण नहीं है कि यह केवल 100% आसानी से नहीं हो सकता है। जैसा कि वैज्ञानिक केवल सकारात्मक परिणामों को प्रकाशित करते हैं, हमें नकारात्मक परिणामों की संख्या का कोई पता नहीं है, इसलिए हमारे पास कोई विचार नहीं है यदि हम जो प्रकाशित करते हैं वह केवल झूठे सकारात्मक हैं - सकारात्मक परिणाम जो शून्य परिकल्पना के तहत शुद्ध यादृच्छिक मौका द्वारा काटे गए हैं। इस बीच, यह कहने के लिए कुछ भी नहीं है कि कई परिकल्पना परीक्षण सुधारों के पीछे के गणित केवल एक ही डेटा सेट से परिणामों पर लागू होने चाहिए, और समय के साथ अर्जित सभी प्रयोगात्मक डेटा से परिणामों के लिए नहीं।

ऐसा लगता है कि संपूर्ण विज्ञान झूठी या कमजोर परिकल्पनाओं के आधार पर मछली पकड़ने का एक बड़ा अभियान बन गया है, इसलिए हम इसके लिए कैसे नियंत्रण कर सकते हैं?

हम झूठी खोज दर को कैसे नियंत्रित कर सकते हैं, अगर हम कभी भी प्रकाशित करते हैं, तो आज तक किए गए सभी प्रयोगों पर कई परिकल्पना परीक्षण के लिए कोई सुधार किए बिना स्वतंत्र परिणाम प्रकाशित किए जाते हैं?

क्या इस तरह के कुछ सुधार को लागू किए बिना झूठी खोज दर को नियंत्रित करना संभव है ?

— केल्विन
स्रोत

आपका अपना प्रश्न meta.stats.stackexchange.com/questions/3049/… लागू होता है। यह कई बड़े सवालों के साथ कई विवादास्पद (कुछ मामलों में अत्यधिक अतिरंजित) बयानों को बंडल करता है। मुझे लगता है कि यह पहले से दी गई सलाह की आम सहमति के खिलाफ है।

— निक कॉक्स

क्षमा करें, मुझे नहीं पता कि आप किन प्रतिक्रियाओं का उल्लेख कर रहे हैं: मुझे यहां कोई संदर्भ नहीं दिखता है। मैं बंद करने के लिए मतदान नहीं कर रहा हूं, न ही (स्वाभाविक रूप से) मुझे लोगों को जवाब देने से रोकने की कोई इच्छा या शक्ति है। लेकिन, उदाहरण के लिए, "समय की सुबह के बाद" व्यर्थ अतिशयोक्ति का एक छोटा सा उदाहरण है और आपके पोस्ट में कई अन्य हैं। अपने स्वयं के लिए उत्तेजक होने के नाते, इस साइट के मेरे अनुभव में, अपने अंतर्निहित प्रश्न की मदद नहीं करेंगे। पाठकों को शैली को पदार्थ से दूर करना होगा।

— निक कॉक्स

निमंत्रण के लिए धन्यवाद, लेकिन जीवन छोटा है। मैं अपने मुख्य बिंदु के रूप में मेटा थ्रेड स्टैंड पर अपना क्रॉस-रेफरेंस देता हूं। मैंने शैली और पदार्थ पर अपनी राय बताई है, जो यहां की खूबियों पर खड़े हो सकते हैं या गिर सकते हैं।

— निक कॉक्स

अगर मैं विज्ञान कर रहा हूं, तो मुझे कोई परवाह नहीं है कि आपने क्या गलत खोज की है। दरअसल, एक विशेष वैज्ञानिक दावा करने के संबंध में, मैं बहुत ज्यादा नहीं देखभाल क्या अन्य झूठे खोजों सकता है मैं बना दिया। यदि मैं विज्ञान नहीं कर रहा हूं, तो मुझे इस बात की भी परवाह नहीं है कि इस विशेष विश्लेषण में मैंने कौन सी अन्य गलत खोजें कीं - क्योंकि यदि मैं दो प्रकार की त्रुटियों के सापेक्ष लागतों के आधार पर अपनी टाइप I त्रुटि दर चुनता हूं, तो पहले से ही दोनों के बीच ट्रेडऑफ को चुना, और कई तुलनाओं के लिए सही नहीं होना चाहिए।

— Glen_b -Reinstate मोनिका

सौभाग्य से अन्य लोगों ने भी मेरे साथ समानता और स्पष्टता के साथ विचार प्रस्तुत किए हैं। एक अतिरिक्त टिप्पणी के रूप में, मैं अपने साहित्य के साथ विज्ञान (जो कुछ स्थायी मूल्य का है) के खिलाफ सलाह देता हूं। ऐसे कई तरीके हैं जिनसे साहित्य गायब हो जाता है: अस्पष्टता, तुच्छता, तार्किक त्रुटियां, आदि। अमूर्त में हर कोई उन सभी गलत सकारात्मक परीक्षणों के विचार से असंतुष्ट है, लेकिन उन्हें मानना होगा और स्थायी प्रभाव होने पर कार्य करना होगा। (यदि यह ड्रग ट्रायल है, तो यह बहुत बड़ी बात हो सकती है।) तो, चिंता करने वाली कई चीजें हैं, लेकिन मुझे नहीं लगता कि विज्ञान बर्बाद है।

— निक कॉक्स

जवाबों:

यह स्पष्ट रूप से व्यवहार में ऐसा करने के लिए एक निरपेक्ष बुरा सपना है, लेकिन लगता है कि यह किया जा सकता है हैं: हम एक सांख्यिकीय सुल्तान की नियुक्ति और हर कोई एक परिकल्पना परीक्षण चल रहा है उनके कच्चे रिपोर्ट इस तानाशाह को -values। वह कुछ प्रकार के वैश्विक (शाब्दिक) कई तुलना सुधार करता है और सही संस्करणों के साथ उत्तर देता है। $p$

क्या यह विज्ञान और तर्क के सुनहरे युग में प्रवेश करेगा? नहीं, शायद नहीं।

आइए एक जोड़ी परिकल्पना पर विचार करके शुरू करें, जैसे कि एक

टेस्ट में। हम दो समूहों की कुछ संपत्ति को मापते हैं और उस संपत्ति के बारे में दो परिकल्पनाओं के बीच अंतर करना चाहते हैं:

परिमित नमूने में,

वास्तव में सत्य होने पर भी साधन बिल्कुल समान होने की संभावना नहीं है: माप त्रुटि और परिवर्तनशीलता के अन्य स्रोत व्यक्तिगत मूल्यों को चारों ओर धकेल सकते हैं। हालाँकि,

t

$t$

\begin{aligned} H_{0} : & The groups have the same mean. \\ H_{A} : & The groups have different means. \end{aligned}

$\begin{align} H_0:& \textrm{ The groups have the same mean.} \\ H_A:& \textrm{ The groups have different means.} \end{align}$

H_{0}

$H_0$

H_{0}

$H_0$ परिकल्पना कुछ अर्थों में "उबाऊ" है, और शोधकर्ता आमतौर पर "झूठी सकारात्मक" स्थिति से बचने के लिए चिंतित होते हैं, जिसमें वे उन समूहों के बीच अंतर का दावा करते हैं जहां कोई भी वास्तव में मौजूद नहीं है। इसलिए, हम केवल परिणामों को "महत्वपूर्ण" कहते हैं, यदि वे अशक्त परिकल्पना के तहत असंभव प्रतीत होते हैं, और, सम्मेलन द्वारा, कि 5% पर अनौपचारिकता सीमा निर्धारित की जाती है।

यह एकल परीक्षण पर लागू होता है। अब मान लें कि आप कई परीक्षण चलाने का निर्णय लेते हैं और हर एक के लिए को गलती से स्वीकार करने का 5% मौका स्वीकार करने के लिए तैयार हैं । पर्याप्त परीक्षणों के साथ, आप इसलिए लगभग निश्चित रूप से त्रुटियां करना शुरू कर देंगे, और उनमें से बहुत सारे। $H_0$

विभिन्न बहुविकल्पी दृष्टिकोण का उद्देश्य आपको एक नाममात्र त्रुटि दर पर वापस लाने में मदद करना है जिसे आपने पहले ही व्यक्तिगत परीक्षणों के लिए सहन करने के लिए चुना है। वे थोड़ा अलग तरीकों से ऐसा करते हैं। बोनफेरोनि , सिडक और होल्म प्रक्रियाओं की तरह परिवार-वार त्रुटि दर को नियंत्रित करने वाले तरीके , कहते हैं, "आप एक एकल परीक्षण पर त्रुटि बनाने का 5% मौका चाहते थे, इसलिए हम यह सुनिश्चित करेंगे कि आप 5 से अधिक नहीं हैं। आपके सभी परीक्षणों में कोई भी त्रुटि करने का% मौका। " झूठी डिस्कवरी दर को नियंत्रित करने वाले तरीके इसके बजाय "आप स्पष्ट रूप से एक परीक्षण के साथ 5% तक गलत होने के साथ ठीक हैं, इसलिए हम यह सुनिश्चित करेंगे कि आपके 'कॉल' का 5% से अधिक गलत नहीं है जब कई परीक्षण कर रहे हैं"। (फर्क देखें?)

अब, मान लीजिए कि आपने कभी-कभी सभी परिकल्पना परीक्षणों की पारिवारिक-वार त्रुटि दर को नियंत्रित करने का प्रयास किया । आप अनिवार्य रूप से कह रहे हैं कि आप किसी भी अशक्त परिकल्पना को गलत तरीके से खारिज करने का <5% मौका चाहते हैं। यह एक असंभव कठोर सीमा निर्धारित करता है और अनुमान प्रभावी रूप से बेकार हो जाएगा, लेकिन एक और भी अधिक दबाव वाला मुद्दा है: आपके वैश्विक सुधार का मतलब है कि आप बिल्कुल बकवास "यौगिक परिकल्पना" का परीक्षण कर रहे हैं जैसे

\begin{aligned} H_{1} : & Drug XYZ changes T-cell count \land \\ Grapes grow better in some fields \land \\ \dots \land \dots \land \dots \land \dots \land \\ Men and women eat different amounts of ice cream \end{aligned}

$\begin{align} H_1: &\textrm{Drug XYZ changes T-cell count } \wedge \\ &\textrm{Grapes grow better in some fields } \wedge&\\ &\ldots \wedge \ldots \wedge \ldots \wedge \ldots \wedge \\&\textrm{Men and women eat different amounts of ice cream} \end{align}$

गलत डिस्कवरी दर में सुधार के साथ, संख्यात्मक मुद्दा काफी गंभीर नहीं है, लेकिन यह अभी भी एक दार्शनिक रूप से गड़बड़ है। इसके बजाय, यह संबंधित परीक्षणों के "परिवार" को परिभाषित करने के लिए समझ में आता है, जैसे जीनोमिक्स अध्ययन के दौरान उम्मीदवार जीन की सूची, या वर्णक्रमीय विश्लेषण के दौरान समय-आवृत्ति के डिब्बे का एक सेट। अपने परिवार को एक विशिष्ट प्रश्न पर बाँधने से आप वास्तव में अपने टाइप I त्रुटि की व्याख्या सीधे तरीके से कर सकते हैं। उदाहरण के लिए, आप अपने खुद के जीनोमिक डेटा से पी-मानों के एक एफडब्ल्यूईआर-सही सेट को देख सकते हैं और कह सकते हैं कि "कोई <5% संभावना है कि इनमें से कोई भी जीन गलत सकारात्मक हैं।" यह एक नेबुलास गारंटी से बहुत बेहतर है जो उन लोगों द्वारा किए गए इनफॉर्म्स को कवर करता है जिन्हें आप उन विषयों पर ध्यान नहीं देते जिनके बारे में आप परवाह नहीं करते हैं।

इसका दूसरा पहलू यह है कि वह "परिवार" का उपयुक्त विकल्प बहस का विषय है और थोड़ा व्यक्तिपरक है (क्या सभी जीन एक परिवार हैं या क्या मैं सिर्फ किन्नरों पर विचार कर सकता हूं?) लेकिन इसे आपकी समस्या से अवगत कराया जाना चाहिए और मैं किसी पर विश्वास नहीं करता। लगभग इतने बड़े पैमाने पर परिभाषित परिवारों की गंभीरता से वकालत की है।

कैसे बे?

बायेसियन विश्लेषण इस समस्या के लिए सुसंगत विकल्प प्रदान करता है - यदि आप फ्रिक्वेंटिस्ट टाइप I / टाइप त्रुटि त्रुटि ढांचे से थोड़ा दूर जाने के लिए तैयार हैं। हम पहले से ही कुछ गैर-कमानी के साथ शुरू करते हैं ... अच्छी तरह से ... सब कुछ। हर बार जब हम कुछ सीखते हैं, तो यह जानकारी एक पूर्ववर्ती वितरण को उत्पन्न करने के लिए पूर्व के साथ जोड़ दी जाती है, जो बदले में अगली बार कुछ सीखने के लिए पूर्व हो जाती है। यह आपको एक सुसंगत अद्यतन नियम देता है और आप दो परिकल्पनाओं के बीच बेयस कारक की गणना करके विशिष्ट चीजों के बारे में विभिन्न परिकल्पनाओं की तुलना कर सकते हैं। आप निश्चित रूप से मॉडल के बड़े हिस्से को बाहर कर सकते हैं, जो इसे विशेष रूप से बहुत अच्छा नहीं बना सकता है।

एक निरंतर ... मेम है कि बायेसियन विधियों को कई तुलना सुधारों की आवश्यकता नहीं है। दुर्भाग्य से, पोस्टीरियर ऑड्स फ्रीक्वेंटर्स के लिए सिर्फ एक और टेस्ट स्टेटिस्टिक हैं (यानी, टाइप I / II त्रुटियों की परवाह करने वाले लोग)। उनके पास कोई विशेष गुण नहीं है जो इस प्रकार की त्रुटियों को नियंत्रित करता है (वे ऐसा क्यों करेंगे?) इस प्रकार, आप वापस लेने योग्य क्षेत्र में वापस आ जाते हैं, लेकिन शायद थोड़े अधिक राजसी मैदान पर।

बायेसियन काउंटर-तर्क यह है कि हमें उस पर ध्यान केंद्रित करना चाहिए जिसे हम अभी जान सकते हैं और इस तरह ये त्रुटि दर महत्वपूर्ण नहीं हैं।

Reproduciblity पर

आप सुझाव दे रहे हैं कि अनुचित कई तुलना-सुधार गलत / अप्रतिरोधी परिणामों के पीछे का कारण है। मेरी समझ यह है कि अन्य कारक एक मुद्दा होने की अधिक संभावना है। एक स्पष्ट बात यह है कि प्रकाशित करने का दबाव लोगों को उन प्रयोगों से बचने की ओर ले जाता है जो वास्तव में उनकी परिकल्पना (यानी, बुरे प्रयोगात्मक डिजाइन) पर जोर देते हैं।

$p$

— मैट क्रूस
स्रोत

धन्यवाद मैट। मुझे एक "सांख्यिकीय सुल्तान" के विचार से प्यार है। फिर भी, क्या इस तरह के कुछ सुधार को लागू किए बिना झूठी खोज दर को नियंत्रित करना संभव है?

— केल्विन

बिंदु मैं बनाने के लिए कोशिश कर रहा था कि यह के बारे में चिंता करने के लिए मतलब नहीं है है सभी मानव प्रयासों भर में झूठी डिस्कवरी दर (या familywise त्रुटि दर)। ऐसा करने के लिए इतना जोखिम उठाने की आवश्यकता होती है कि आप कभी भी कुछ भी नहीं करेंगे। इसके बजाय, आप व्यक्तिगत प्रयोगों के लिए एफडीआर / एफडब्ल्यूईआर को बहुत कम रखते हैं और उन महत्वपूर्ण चीजों को दोहराने की कोशिश करते हैं जो दिलचस्प / उपयोगी / आदि हैं।

— मैट क्राउज

धन्यवाद, मुझे लगता है कि अंत में यह सब उन चीजों की प्रतिकृति के लिए नीचे आता है जो मायने रखते हैं। यह पूरी तरह से विज्ञान के दर्शन के अनुरूप है, कि कोई भी परिकल्पना कभी साबित नहीं हो सकती है, केवल दोहराया प्रयोगों द्वारा समय के साथ मजबूत होता है।

— केल्विन

सांख्यिकीय सुल्तान के लिए +1। एक महत्वपूर्ण विचार: सुल्तान को इस तथ्य को कैसे संभालना चाहिए कि पी-मूल्य क्रमिक रूप से पहुंचें? एक घटिया पी = 0.045 आने को पहले महत्वपूर्ण माना जाएगा लेकिन कुछ शताब्दियों के बाद कोई मौका नहीं मिलेगा? यह समझ में नहीं आता है (cc @ @ केल्विन के लिए)। एक और विचार: कल्पना करें कि सुल्तान को 1 वर्ष के लिए इंतजार करना था और इस पिछले वर्ष के सभी परिणामों में सुधार लागू करना था; मुझे आश्चर्य है कि वास्तव में समायोजित अल्फा दहलीज व्यवहार में क्या होगा। उस पर कोई विचार, मैट? वह (झूठा!) मानकर हर कोई एक सामान्य अल्फ़ाज़ पर सहमत होता है।

— अमीबा का कहना है कि मोनिका

@amoeba, यह एक दिलचस्प सवाल है और मुझे यकीन नहीं है कि मुझे पता है। हमारे प्रिय डेटा डेस्पॉट हर किसी को किसी प्रकार के अनुक्रमिक डिजाइन का उपयोग करने के लिए मजबूर कर सकते हैं, जो मदद कर सकता है, लेकिन वह अभी भी इस अजीब यौगिक परिकल्पना का परीक्षण कर रहा है। वैकल्पिक रूप से, हम सभी बायसेशियन बन सकते हैं और अपने टाइप I / II त्रुटि ट्रैक रिकॉर्ड के बारे में चिंता करना बंद कर देते हैं। यह थोड़ा सस्ता है (यदि आप उन्हें हरा नहीं सकते, तो उन्हें अनदेखा कर सकते हैं!), लेकिन मुझे लगता है कि यह लोगों के साथ व्यवहार में कैसा है।

— मैट क्रॉज

मुझे लगता है कि आप जानबूझकर सांख्यिकी द्वारा निर्मित विज्ञान के निराशावादी दृष्टिकोण को चित्रित करते हैं। वास्तव में, मेरी राय में, आंकड़े केवल पी मूल्यों को प्रदान करने वाले उपकरणों का एक सेट नहीं है। वैज्ञानिक प्रेरण की प्रक्रिया में शामिल कुछ संभावित प्रभावों के बारे में कठोरता, देखभाल और सतर्कता की स्थिति भी है ... और मेरे दिमाग में रहते हुए, आप जो कुछ भी राज्य करते हैं, वह लगभग सच है, यहाँ पर मेरी कुछ राय है कि क्यों हम कुछ गारंटी देते हैं हमारे द्वारा उत्पादित ज्ञान के बारे में:

पहले सामान्य तौर पर, निष्कर्ष केवल किसी दिए गए सीमा से कम एपी मूल्य के तर्क के तहत नहीं पहुंचना चाहिए।
दूसरे, मेरी जानकारी के लिए "प्रकाशित वैज्ञानिक परिणामों के आधे से अधिक प्रकार गलत हैं" प्रासंगिक और दिलचस्प हैं, लेकिन गणना पी के मूल्यों के आधार पर की जाती है, जो लगभग 0.05 के बराबर हैं (उदाहरण के लिए पी-मान और झूठी खोज दर के बारे में भ्रम ) । कम पी मूल्यों के लिए प्रभाव घोषित एक की तुलना में बहुत कम है और व्यवहार में, यह 0.05 से कम पी मूल्यों को प्राप्त करने के लिए दुर्लभ नहीं है। इसके अलावा, कई बार दी गई परिकल्पना की पुष्टि कई उप-परिकल्पनाओं द्वारा की जाती है जो फिर से घोषित प्रभावों को कम कर देती है।
तीसरा, प्रजनन योग्यता का प्रश्न वास्तविक है, लेकिन यह भी एक समस्या है, जिसे सांख्यिकीविद् द्वारा निपटाया जाना चाहिए और भ्रमित करने वाले प्रभावों, समूह डिजाइनों से निपटना चाहिए ... और यदि यह विशेषज्ञता और कठोरता के साथ किया जाए तो यह बहुत अच्छा हो सकता है।
अंत में, जैसा कि मैं इसे समझता हूं, एक कट्टरपंथी सांख्यिकीय अध्ययन को निम्न 5 क्रमिक चरणों पर कम या ज्यादा खड़ा होना चाहिए:
```
Formulate one or a few hypotheses
Design the corresponding study
Acquire the data
Analyse the data
Make conclusions about the above hypotheses (and only these ones)
```
यह सामान्य दिशानिर्देश हमें मछली पकड़ने के अभियान से सामान्य निष्कर्ष निकालने के लिए एक उपकरण के रूप में रोकता है।

यह निष्कर्ष निकालने के लिए, मैं कहूंगा कि अति-थ्रेशिंग पी-वैल्यू द्वारा बुरे वैज्ञानिक निष्कर्षों के खिलाफ हमारी रक्षा करने का आपका इरादा थोड़ा भ्रमपूर्ण है। मैं चेतावनी और उचित विश्लेषण को सुनिश्चित और प्रोत्साहित करके बुरे वैज्ञानिक निष्कर्षों के खिलाफ हमारी रक्षा करना पसंद करूंगा (और मैं यह सोचना चाहूंगा कि यह एक कारण है कि इस साइट पर दूसरों की मदद करने के लिए इतने योग्य व्यक्ति यहां हैं)।

— peuhp
स्रोत

मुझे नहीं लगता कि यह रक्षात्मक होने में मदद करता है। विज्ञान में अपरिवर्तनीयता का वर्तमान मुद्दा सिर्फ "दिलचस्प" नहीं है, यह एक संकट बिंदु पर है और प्रकृति और यहां तक कि अर्थशास्त्री के कवर पर रहा है, क्योंकि क्या किसी विशेष अध्ययन में विश्वास करना है (या एक अनुमोदित दवा की प्रभावकारिता भी। ) अब अरबों डॉलर के निवेश के बावजूद, सिक्का फ्लिप से बेहतर नहीं है।

— केल्विन

मैं मानता हूं कि एक संकट मौजूद है। मेरा कहना है कि आप सिक्के की गुणवत्ता का निरीक्षण कर सकते हैं। सभी पेपर समान गुणवत्ता के नहीं होते हैं और मेरे अनुभव से कभी-कभी पेपर त्रुटिपूर्ण होना आसान होता है। मैं उस समस्या का खंडन नहीं करता हूं जो मैं समाधान से इनकार करता हूं: बस उचित विश्लेषण करें :)

— peuhp

ठीक है, धन्यवाद, मैं आपके उत्तर का सम्मान करता हूं। लेकिन फिर भी एक सांख्यिकीय दृष्टिकोण से, और प्रयोगों की गुणवत्ता की परवाह किए बिना, हम इस तरह के कुछ सुधार को लागू किए बिना समग्र झूठी खोज दर को कभी भी नियंत्रित नहीं कर सकते हैं?

— केल्विन

क्या इस तरह के कुछ सुधार को लागू किए बिना झूठी खोज दर को नियंत्रित करना संभव है?

$100\,a$ $a$

याद रखें कि (अक्सर) त्रुटि दर किसी भी व्यक्तिगत परीक्षण द्वारा परिकल्पित परीक्षण के बारे में किसी भी संभावना पर चिंता नहीं करते हैं, लेकिन गारंटीकृत दीर्घकालिक विफलता दरों के साथ परीक्षण करने के तरीकों के रूप में। कई तुलनाओं के लिए सुधार दीर्घकालिक विफलता दर की गारंटी देने के लिए एक और तरीका है: एक यौगिक विधियों के निर्माण के लिए जिसमें कई परीक्षण होते हैं ताकि कुछ यौगिकों के लिए दीर्घकालिक विफलता दर की गारंटी हो।

यदि आप 100 परीक्षणों के साथ एक प्रयोग करते हैं और रिपोर्ट करते हैं कि उनमें से 5 ने अशक्त के खिलाफ बात की है, इस प्रकार यह दावा करते हुए कि आपने कुछ वास्तविक परिणाम देखे हैं, तो कोई भी प्रभावित नहीं होगा, यह जानकर कि औसत रूप से, सच्चे शून्य के 100 परीक्षणों में, 5% होगा अस्वीकार; आपके द्वारा नियोजित विधि, "100 परीक्षण करें और रिपोर्ट करें कि उनमें से कोई 5% सीमा से मिलता है", विफलता की दर 5% से अधिक है। इस प्रकार, आपने कई तुलनाओं को नियंत्रित करने और रिपोर्ट करने के लिए चुना हो सकता है कि उदाहरण के लिए 100 में से 2 परीक्षणों में पी (5/100 == 0.05)% से कम मूल्य थे। अब आप एक ऐसी विधि को नियोजित करते हैं जिसमें फिर से गारंटी की विफलता की दर होती है (5% की कोई परिकल्पना झूठी होने पर भी कम से कम एक महत्वपूर्ण परीक्षण की रिपोर्टिंग की त्रुटि के लिए)।

यही है, एफडब्ल्यूई / परिवार-वार त्रुटि सुधार वैश्विक त्रुटि दर को नियंत्रित करता है; यदि आप करते हैं , तो अनधिकृत थ्रेसहोल्ड)। इसके विपरीत, यदि हर कोई हमेशा प्रति अध्ययन 100 सच्चे परिकल्पनाओं का परीक्षण करता है और एफईडब्ल्यू लागू नहीं करता है, तो महत्वपूर्ण प्रभावों की रिपोर्टिंग करने वाले प्रयोगों की संख्या 5% की गारंटी त्रुटि दर से अधिक होगी। (एफडीआर / झूठी जांच दर के साथ विरोधाभास, जो एक ऐसी विधि नहीं है जो सच्चे परिकल्पना के कई परीक्षणों के अध्ययन में किसी भी महत्वपूर्ण परीक्षण की रिपोर्ट करने की दर की गारंटी देता है।) $a$

— Jona
स्रोत

जिसे आप अपने पहले पैराग्राफ में "झूठी खोजों की दर" कहते हैं, वह नहीं है जिसे "झूठी खोज दर" के रूप में जाना जाता है।

— अमीबा का कहना है कि मोनिका