Benjamini & Hochberg झूठी खोज दर को उसी तरह से परिभाषित करते हैं जैसे मैं करता हूं, सकारात्मक परीक्षणों के अंश के रूप में जो झूठी सकारात्मकताएं हैं। इसलिए यदि आप कई तुलनाओं के लिए उनकी प्रक्रिया का उपयोग करते हैं तो आप एफडीआर को ठीक से नियंत्रित करते हैं। हालाँकि, यह ध्यान देने योग्य है, कि BH विधि में काफी भिन्नताएँ हैं। बर्कले में बेंजामिनी की संगोष्ठियाँ यूट्यूब पर हैं, और देखने लायक हैं:
मुझे यकीन नहीं है कि @amoeba का कहना है कि "यह बहुत दृढ़ता से तैयार किया गया है और वास्तव में भ्रामक हो सकता है"। मुझे यह जानने में दिलचस्पी होगी कि वह ऐसा क्यों सोचता है। सबसे प्रेरक तर्क सिम्युलेटेड टी परीक्षणों (खंड 6) से आता है। यह लगभग हर किसी के व्यवहार में होता है और यह दर्शाता है कि यदि आप पी को 0.047 के करीब देखते हैं, और दावा किया है कि आपने एक खोज की है, तो आप कम से कम 26% गलत होंगे। क्या गलत हो सकता हैं?
बेशक, मुझे इसे न्यूनतम के रूप में वर्णित नहीं करना चाहिए। अगर आपको लगता है कि आपको वहाँ 50% संभावना है कि वहाँ एक वास्तविक प्रभाव होने की संभावना है। बेशक, यदि आप मानते हैं कि आपकी अधिकांश परिकल्पनाएं पहले से सही हैं, तो आप 26% से कम एफडीआर प्राप्त कर सकते हैं, लेकिन क्या आप उस उल्लसितता की कल्पना कर सकते हैं जो इस दावे का अभिवादन करेगी कि आपने धारणा के आधार पर खोज की है आप 90% पहले से निश्चित थे कि आपका निष्कर्ष सही होगा। 26% न्यूनतम एफडीआर है जो 0.5 से अधिक किसी भी पूर्व संभाव्यता को मानने के लिए अनुमान का उचित आधार नहीं है।
यह देखते हुए कि कूबड़ अक्सर परीक्षण के दौरान खड़े नहीं होते हैं, यह अच्छी तरह से हो सकता है कि किसी विशेष परिकल्पना के केवल 10% होने की संभावना है, और उस स्थिति में FDR 76% विनाशकारी होगा।
यह सच है कि यह सब शून्य परिकल्पना पर आकस्मिक है कि शून्य अंतर (तथाकथित बिंदु शून्य) है। अन्य विकल्प अलग-अलग परिणाम दे सकते हैं। लेकिन बिंदु अशक्त वह है जो लगभग सभी वास्तविक जीवन में उपयोग करते हैं (हालांकि इसके बारे में पता नहीं हो सकता है)। इसके अलावा बिंदु अशक्त मुझे लगता है कि पूरी तरह से उपयोग करने के लिए उपयुक्त चीज है। कभी-कभी इस बात पर आपत्ति की जाती है कि सच्चे मतभेद कभी भी शून्य नहीं होते हैं। मैं असहमत हूं। हम यह बताना चाहते हैं कि क्या हमारे परिणाम उस मामले से अलग नहीं हैं जहां दोनों समूहों को समान उपचार दिया जाता है, इसलिए सही अंतर बिल्कुल शून्य है। यदि हम तय करते हैं कि डेटा उस दृश्य के साथ संगत नहीं है, तो हम प्रभाव के आकार का अनुमान लगाते हैं। और उस बिंदु पर हम अलग-अलग निर्णय लेते हैं कि क्या प्रभाव, हालांकि वास्तविक है, व्यवहार में महत्वपूर्ण होने के लिए पर्याप्त बड़ा है।डेबोरा मेयो का ब्लॉग ।
@amoeba आप प्रतिक्रिया के लिए धन्यवाद।
मेयो के ब्लॉग शो पर चर्चा ज्यादातर यह है कि मेयो मेरे साथ सहमत नहीं है, हालांकि उसने स्पष्ट नहीं किया है कि क्यों, कम से कम मेरे लिए)। स्टीफन सेन् ने सही ढंग से बताया कि यदि आप एक अलग पूर्व वितरण को स्थगित करते हैं तो आपको एक अलग उत्तर मिल सकता है। मुझे यह केवल व्यक्तिपरक बायेसियन के लिए दिलचस्प लगता है।
यह निश्चित रूप से हर रोज अभ्यास के लिए अप्रासंगिक है जो हमेशा एक बिंदु अशक्त मानता है। और जैसा कि मैंने समझाया, यह मुझे करने के लिए एक पूरी तरह से समझदार चीज है।
कई पेशेवर सांख्यिकीविदों का निष्कर्ष मेरे जैसा ही है। सेलके और बर्जर, और वैलेन जॉनसन (मेरे पेपर में देखें) की कोशिश करें। मेरे दावों के बारे में बहुत विवादास्पद (या बहुत मूल) कुछ भी नहीं है।
0.5 से पहले के बारे में आपका अन्य बिंदु, मुझे बिल्कुल भी अनुमान नहीं लगता है। जैसा कि मैंने ऊपर बताया, 0.5 woold से ऊपर की कोई भी चीज़ व्यवहार में अस्वीकार्य है। और 0.5 से नीचे की कोई भी चीज़ झूठी खोज की दर को और भी अधिक बना देती है (उदाहरण के लिए यदि पूर्व 0.1 है तो 76%)। इसलिए यह कहना पूरी तरह से उचित है कि 26% न्यूनतम झूठी खोज दर है जिसे आप उम्मीद कर सकते हैं कि यदि आप एक ही प्रयोग में P = 0.047 का निरीक्षण करते हैं।
मैं इस प्रश्न के बारे में अधिक सोच रहा हूं। एफडीआर की मेरी परिभाषा बेंजामिन के सकारात्मक परीक्षणों के अंश के समान है जो झूठे हैं। लेकिन यह एक बहुत अलग समस्या पर लागू होता है, एक परीक्षण की व्याख्या। अगर मैं एक अलग शब्द चुनता, तो बेहतर होता।
एकल परीक्षण के मामले में, B & H, P मान को अपरिवर्तित छोड़ देता है, इसलिए यह इस अर्थ में गलत खोज दर के बारे में कुछ नहीं कहता है कि मैं इस शब्द का उपयोग करता हूं।
बेशक आप सही हैं। बेंजामिनी और होचबर्ग, और अन्य लोग जो कई तुलनाओं पर काम करते हैं, उनका उद्देश्य केवल टाइप 1 त्रुटि दर को सही करना है। इसलिए वे "सही" पी मान के साथ समाप्त होते हैं। यह किसी भी अन्य पी मान के समान समस्याओं के अधीन है। अपने नवीनतम पेपर में, मैंने इस गलतफहमी से बचने के प्रयास में एफडीआर से नाम बदलकर झूठे सकारात्मक जोखिम (एफपीआर) कर दिया।
हमने कुछ गणना करने के लिए एक वेब ऐप भी लिखा है (यह देखने के बाद कि कुछ लोग हमारे द्वारा प्रदान की जाने वाली आर स्क्रिप्ट डाउनलोड करते हैं)। यह https://davidcolquhoun.shinyapps.io/3-calcs-final/ पर, itare स्वागत के बारे में सभी राय (कृपया नोट टैब पहले पढ़ें)।
PS वेब कैलकुलेटर में अब http://fpr-calc.ucl.ac.uk/
Shiny.io पर एक नया (स्थायी, मुझे आशा है) उपयोग करना आसान है, लेकिन बहुत महंगा है अगर कोई वास्तव में ऐप का उपयोग करता है :-(
मैं इस चर्चा में लौट आया हूं, अब जब विषय पर मेरा दूसरा पेपर रॉयल सोसाइटी ओपन साइंस में प्रदर्शित होने वाला है। यह https://www.biorxiv.org/content/early/2017/08/07/144337 पर है
मुझे एहसास है कि मैंने पहले पेपर में जो सबसे बड़ी गलती की थी, वह "झूठी खोज दर (FDR)" शब्द का उपयोग करना था। नए पेपर में मैं यह स्पष्ट करता हूं कि मैं कई तुलनात्मक समस्याओं के बारे में कुछ नहीं कह रहा हूं। मैं केवल एक निष्पक्ष परीक्षण में देखे गए पी मान की व्याख्या करने के तरीके से संबंधित हूं।
नवीनतम संस्करण में, मैं इस संभावना को संदर्भित करता हूं कि भ्रम को कम करने की उम्मीद में एफडीआर के बजाय झूठी सकारात्मक जोखिम (एफपीआर) के रूप में परिणाम। मैं रिवर्स बायेसियन दृष्टिकोण की भी वकालत करता हूं - 5% का कहना है कि FPR सुनिश्चित करने के लिए आवश्यक पूर्व संभावना की जांच करें। यदि आप P = 0.05 का निरीक्षण करते हैं, तो यह 0.87 पर आता है। दूसरे शब्दों में, आपको लगभग (87%) यह सुनिश्चित करना होगा कि 5% की FPR प्राप्त करने के लिए प्रयोग करने से पहले एक वास्तविक प्रभाव था (जो कि ज्यादातर लोग अभी भी मानते हैं, गलती से, पी = 0.05 का मतलब है)।