एक व्यक्तिगत शोधकर्ता को झूठी खोज दर के बारे में कैसे सोचना चाहिए?


30

मैं अपने सिर को चारों ओर लपेटने की कोशिश कर रहा हूं कि कैसे झूठी डिस्कवरी दर (एफडीआर) को व्यक्तिगत शोधकर्ता के निष्कर्ष को सूचित करना चाहिए। उदाहरण के लिए, यदि आपका अध्ययन कमज़ोर है, तो क्या आपको α = पर महत्वपूर्ण होने पर भी अपने परिणामों को छूट देनी चाहिए? नोट: मैं एफडीआर के बारे में समग्र अध्ययन में कई अध्ययनों के परिणामों की जांच करने के संदर्भ में बात कर रहा हूं,कि कई परीक्षण सुधारों के लिए एक विधि के रूप में।α=.05

(हो सकता है उदार) धारणा बनाना है कि .5 परीक्षण किया परिकल्पना की वास्तव में सही हैं, एफडीआर दोनों प्रकार की एक समारोह है मैं और द्वितीय त्रुटि दरों टाइप इस प्रकार है:

FDR=αα+1β.

यह इस कारण से है कि यदि कोई अध्ययन पर्याप्त रूप से कम आंका गया है , तो हमें परिणामों पर भरोसा नहीं करना चाहिए, भले ही वे महत्वपूर्ण हों, जितना कि हम एक पर्याप्त रूप से संचालित अध्ययन के हैं। इसलिए, जैसा कि कुछ सांख्यिकीविद् कहेंगे , ऐसी परिस्थितियाँ हैं जिनके तहत, "लंबे समय में", हम कई महत्वपूर्ण परिणामों को प्रकाशित कर सकते हैं जो कि यदि हम पारंपरिक दिशानिर्देशों का पालन करते हैं तो झूठा है। यदि अनुसंधान के एक निकाय को निरंतर कम अध्ययन (जैसे, उम्मीदवार जीन × पिछले दशक पर्यावरण बातचीत साहित्य ) की विशेषता है, तो भी महत्वपूर्ण निष्कर्षों पर संदेह किया जा सकता है।

आर संकुल को लागू करने extrafont, ggplot2और xkcd, मैं इस उपयोगी एक रूप में की अवधारणा हो सकता है लगता है परिप्रेक्ष्य के मुद्दे: एक महत्वपूर्ण परिणाम ...

पूरा यकीन नहीं...

इस जानकारी को देखते हुए, एक व्यक्तिगत शोधकर्ता को आगे क्या करना चाहिए ? अगर मुझे इस बात का अंदाजा है कि जो प्रभाव मैं पढ़ रहा हूं उसका आकार क्या होना चाहिए (और इसलिए का एक अनुमान - β , मेरा नमूना आकार दिया गया), तो क्या मुझे एफडीआर = .05 तक अपना α स्तर समायोजित करना चाहिए ? क्या मुझे α = .05 स्तर पर परिणाम प्रकाशित करना चाहिए, भले ही मेरी पढ़ाई कमज़ोर हो और साहित्य के उपभोक्ताओं के लिए FDR पर विचार छोड़ दें?1βαα=.05

मुझे पता है कि यह एक ऐसा विषय है जिस पर इस साइट और सांख्यिकी साहित्य दोनों में अक्सर चर्चा की गई है, लेकिन मुझे इस मुद्दे पर एक आम सहमति नहीं मिल सकती है।


संपादित करें: @ अमीबा की टिप्पणी के जवाब में, एफडीआर मानक प्रकार I / प्रकार II त्रुटि दर आकस्मिक तालिका (इसकी कुरूपता को क्षमा करें) से प्राप्त की जा सकती है:

|                            |Finding is significant |Finding is insignificant |
|:---------------------------|:----------------------|:------------------------|
|Finding is false in reality |alpha                  |1 - alpha                |
|Finding is true in reality  |1 - beta               |beta                     |

इसलिए, यदि हमें एक महत्वपूर्ण खोज (स्तंभ 1) के साथ प्रस्तुत किया जाता है, तो यह मौका कि यह वास्तविकता में गलत है, स्तंभ के योग पर अल्फा है।

लेकिन हाँ, हम (पूर्व) संभावना को प्रतिबिंबित करने के कि किसी दिए गए परिकल्पना सच है, हालांकि अध्ययन शक्ति एफडीआर की हमारी परिभाषा संशोधित कर सकते हैं अभी भी एक भूमिका निभाता है:(1β)

FDR=α(1prior)α(1prior)+(1β)prior

यह आपको आपके प्रश्न का निश्चित उत्तर नहीं दे सकता है, लेकिन आपको इस पाठ में प्रेरणा मिल सकती है ।
जॉनरोस

1
डेविड कोलक्वाउन के जिस पेपर से आप लिंक करते हैं, उस पर हाल ही में यहां चर्चा की गई है (@DavidColquhoun के साथ खुद चर्चा में शामिल होने के बाद), आप एक नज़र रखना चाह सकते हैं।
अमीबा का कहना है कि मोनिका

2
कहाँ के मामले में एफडीआर के लिए सूत्र करता और बीटा से आते हैं? शायद मैं मूर्ख हूं, लेकिन मैं यह नहीं देख सकता कि यह सच क्यों होना चाहिए। मुझे उम्मीद है कि एफडीआर पढ़ाई की आबादी में नल की व्यापकता पर निर्भर करेगा, जो आपके फॉर्मूले में प्रवेश नहीं करता है। मैं उलझन में हूं। αβ
अमीबा का कहना है कि मोनिका

2
ठीक है, ठीक है, मुझे इसे वापस लेना चाहिए: विशेष संभावना के मामले में आपका मूल सूत्र सही है जब पूर्व संभावना । आपने वास्तव में यह सब साथ लिखा था, लेकिन मैंने ध्यान नहीं दिया; माफ़ कीजिये। इसके अलावा, आप सही हैं कि किसी भी p ( p = 0 , या आपके पूर्व = 1 के अलावा ) के लिए, FDR शून्य शक्ति पर 1 तक पहुंचने वाली घटती हुई शक्ति के साथ बढ़ेगी । तो आपका सवाल समझ में आता है, +1। p=0.5pp=0prior=11
अमीबा ने कहा कि मोनिका

1
@ पहले से ही, अध्ययनरत (ओपी का वर्णन है) के साथ "समस्या" यह है कि अगर किसी क्षेत्र में सभी अध्ययनों को स्थाई रूप से कम किया जाता है, तो वे शायद ही कभी एक सच्चे प्रभाव का पता लगाएंगे, जबकि संभावना के साथ एक झूठी खोज की रिपोर्ट करते हैं, जो नेतृत्व कर सकते हैं रिपोर्ट की गई अधिकांश खोजें झूठी हैं (यानी बहुत उच्च एफडीआर के लिए)। यह एक वैज्ञानिक क्षेत्र के लिए एक अच्छी स्थिति नहीं है।α
अमीबा का कहना है कि मोनिका

जवाबों:


6

पी -values, फर्जी महंतों और योजना बनाई बिजली मेटा विश्लेषण के लिए महत्वपूर्ण इनपुट नहीं हैं।

इसके बजाय, सभी अध्ययनों को सुलभ होना आवश्यक है, बिजली के स्तर की अवहेलना या महत्वपूर्ण परिणाम। वास्तव में, केवल महत्वपूर्ण प्रकाशित करने और गैर-महत्वपूर्ण परिणामों को छिपाने की बुरी आदत प्रकाशन पूर्वाग्रह की ओर ले जाती है और वैज्ञानिक परिणामों के समग्र रिकॉर्ड को दूषित करती है।

तो व्यक्तिगत शोधकर्ता को एक प्रतिलिपि प्रस्तुत करने योग्य तरीके से एक अध्ययन करना चाहिए, सभी रिकॉर्ड रखना चाहिए और सभी प्रयोगात्मक प्रक्रियाओं को लॉग इन करना चाहिए, भले ही ऐसे विवरण प्रकाशन पत्रिकाओं द्वारा नहीं पूछे गए हों। उसे कम बिजली की ज्यादा चिंता नहीं करनी चाहिए। यहां तक ​​कि एक noninformative परिणाम (= शून्य परिकल्पना को अस्वीकार नहीं किया गया) आगे के अध्ययन के लिए अधिक अनुमानक जोड़ देगा, जब तक कि कोई व्यक्ति स्वयं डेटा की पर्याप्त गुणवत्ता का वहन नहीं कर सकता।

ppपी


होर्स्ट, आप एक अलग सवाल का जवाब दे रहे थे।
एलेक्सिस

1
ध्यान दें कि प्रश्न पढ़ाई के बीच एफडीआर के बारे में है, भीतर नहीं। इसमें सही निर्णयों की स्वीकार्य समग्र दर रखने के लिए कुछ प्रकार के बेज़ियन दृष्टिकोण शामिल हैं। मेरा उत्तर यह बताता है कि एक समग्र निर्णय अध्ययन डेटा और अनुमानों को एकत्र करने के बजाय किया जाता है, निर्णय नहीं, इसलिए यह मुद्दा एक बड़ा "आभासी अध्ययन" बनाकर हल होता है, जब तक कि एकल अध्ययन के डेटा (निर्णय नहीं) विश्वसनीय होते हैं।
होर्स्ट ग्रुनबसच


5

यह वास्तव में एक गहरा दार्शनिक प्रश्न है। मैं खुद एक शोधकर्ता हूं और मैंने इस बारे में कुछ समय सोचा है। लेकिन एक उत्तर से पहले, आइए समीक्षा करें कि झूठी खोज दर क्या है।

एफडीआर बनाम पी पी केवल कहने की संभावना का एक उपाय है कि एक अंतर है, जब कोई अंतर नहीं होता है और शक्ति को ध्यान में नहीं रखता है। दूसरी ओर, एफडीआर, शक्ति को ध्यान में रखता है। हालांकि, एफडीआर की गणना करने के लिए, हमें एक धारणा बनानी होगी: क्या संभावना है कि हमें एक सकारात्मक परिणाम प्राप्त हो? यह एक ऐसी चीज है जिसकी पहुंच हमारे पास कभी नहीं होगी, सिवाय अत्यधिक विपरीत परिस्थितियों के। मैंने वास्तव में हाल ही में एक संगोष्ठी के दौरान इस बारे में बात की थी। स्लाइड्स को आप यहां देख सकते हैं ।

यहाँ इस विषय पर डेविड Colquhoun के कागज से एक आंकड़ा है :

Calquhoun 2014

झूठी सकारात्मक दर की गणना सही सकारात्मक और गलत सकारात्मक के योग द्वारा झूठी सकारात्मक की संख्या को विभाजित करके की जाती है (उदाहरण के लिए, 495 / (80 + 495) x 100% = 86%!

P पर थोड़ा अधिक

मेरे व्याख्यान से स्लाइड्स पर एक नज़र डालें। मैंने इस तथ्य पर चर्चा की कि पी मान एक वितरण से तैयार किए गए हैं। जिसका मतलब है कि हमेशा एक मौका होगा कि आप एक झूठी सकारात्मक पाएंगे। इसलिए सांख्यिकीय महत्व को पूर्ण सत्य नहीं माना जाना चाहिए। मेरा तर्क है कि सांख्यिकीय रूप से महत्वपूर्ण कुछ की व्याख्या की जानी चाहिए, "अरे, यहां कुछ दिलचस्प हो सकता है, मुझे यकीन नहीं है, किसी को डबल चेक करना है!" इसलिए, अनुसंधान में प्रतिलिपि प्रस्तुत करने की मौलिक धारणा!

तो हम क्या करे? खैर, ऊपर दिए गए आंकड़े और पी और एफडीआर के मेरे विश्लेषण के बारे में एक दिलचस्प बात यह है कि एकमात्र तरीका जिसे हम कभी भी स्पष्ट समझ प्राप्त कर सकते हैं वह है 1) प्रजनन और 2) सभी परिणामों को प्रकाशित करना। इसमें नकारात्मक परिणाम शामिल हैं (भले ही नकारात्मक परिणाम व्याख्या करना मुश्किल हो)। हालाँकि, हम अपने परिणामों से जो निष्कर्ष निकालते हैं वह उचित होना चाहिए। दुर्भाग्य से, कई पाठक और शोधकर्ता पी और एफडीआर की धारणाओं को पूरी तरह से नहीं समझते हैं। मेरा मानना ​​है कि यह पाठकों के लिए परिणामों का उचित विश्लेषण करने की जिम्मेदारी है ... जिसका अर्थ है कि बोझ अंततः शिक्षकों के कंधों पर है। सब के बाद, 0.000000001 का एक पी मूल्य अर्थहीन है यदि "व्यापकता" (ऊपर आंकड़ा देखें) 0 है (उस मामले में, झूठी खोज की दर 100% होगी)।

एक प्रकाशन शोधकर्ता के रूप में, बस अपने परिणामों को पूरी तरह से समझने और केवल दावों को मजबूत बनाने के लिए सावधान रहें क्योंकि आप तैयार हैं। यदि यह पता चला है कि आपके विशेष अध्ययन के लिए एफडीआर 86% है (जैसे ऊपर उदाहरण), तो आपको अपनी व्याख्याओं के बारे में बहुत सावधान रहना चाहिए। दूसरी ओर, अगर एफडीआर आपके आराम के लिए काफी छोटा है .... फिर भी आपकी व्याख्याओं के बारे में सावधान रहें।

मुझे उम्मीद है कि यहां सब कुछ स्पष्ट था। यह एक बहुत ही महत्वपूर्ण अवधारणा है और मुझे खुशी है कि आपने चर्चा शुरू की। यदि आपके कोई प्रश्न / चिंता / आदि हैं तो मुझे बताएं।


1
@ एलेक्सिस एक प्रबल अध्ययन के रूप में ऐसी कोई बात नहीं है! जब तक प्रभाव आकार पर ध्यान दिया जाता है, तब तक बड़ा नमूना आकार के साथ अध्ययन करके प्रभाव के आकार को अधिक बारीकी से परिभाषित करने में सक्षम होने में कोई नुकसान नहीं हो सकता है। Ed ओवरपॉवरेड ’की धारणा मुझे खाली धारणा से बंधी हुई लगती है कि कोई देखे गए डेटा को देखे बिना पी-वैल्यू को देखने से उपयोगी निष्कर्ष बना सकता है।
माइकल लुईस

1
@MichaelLew: आप सही कह रहे हैं कि यदि आप हमेशा पी-वैल्यू के साथ अनुमानित प्रभाव आकार पर विचार करते हैं, तो अधिकता का मुद्दा (आंशिक रूप से) हल हो सकता है। हालांकि, यह पी-मानों के उद्देश्य को थोड़ा हरा देता है: बाइनरी टेस्ट परिणामों के प्रभाव आकलनकर्ता को मैपिंग "प्रभाव वर्तमान / वर्तमान नहीं" जैसे कि मैं टाइप त्रुटि त्रुटि है। इसके अलावा, आपका निर्णय एक प्रासंगिक प्रभाव आकार क्या हो सकता है, जैसा कि आप पी-मूल्य देखते हैं, बदल सकते हैं। इसलिए यह वास्तव में अग्रिम में एक प्रासंगिक प्रभाव सीमा निर्धारित करके मुद्दे को स्वीकार करने के लिए सबसे अच्छा है और बाद में अध्ययन सीआई के साथ इसकी तुलना करें, जैसा कि एलेक्सिस ने सुझाव दिया था।
होर्स्ट ग्रुनबसच

1
θ

1
एक हद तक ... मैं सांख्यिकीय अनुमान के संदर्भ में कड़ाई से बोल रहा था , जबकि आप अध्ययन के डिजाइन के तर्क और वैज्ञानिक ज्ञान के निर्माण के बारे में अधिक बात कर रहे हैं। उस ने कहा, मुझे लगता है कि सकारात्मक निष्कर्षों की व्याख्या जितने ध्यान से नहीं की जाती है, उतने ही ध्यान से देखें तो नकारात्मक निष्कर्षों के रूप में उतनी ही संभावना है। ब्रह्मांड की सभी घटनाएं अलगाव में अध्ययन करने के लिए उत्तरदायी नहीं हैं (उदाहरण के लिए व्यक्तिगत और जनसंख्या दोनों स्वास्थ्य एक साथ रासायनिक, सामाजिक, व्यवहार आदि) हैं, और इसलिए इस तरह की जटिल प्रणालियों के अध्ययन के लिए ontological अनिश्चितताएं होनी चाहिए।
एलेक्सिस

2
@ HorstGrünbusch मैं मूल प्रश्न को हाइब्रिड संदर्भ में सेट होने के रूप में नहीं देखता हूं क्योंकि यह अल्फा और बीटा से संबंधित है, न कि पी-मान। हालांकि, जस्टानोथेरब्रेन के जवाब को निश्चित रूप से सावधानीपूर्वक पुन: काम करने की आवश्यकता होगी ताकि इसे नेमन एंड पियरसन फ्रेमवर्क या महत्व परीक्षण ढांचे में पूरी तरह से जगह मिल सके। झूठी खोज की दरें वास्तव में केवल पूर्व में हैं।
माइकल लुईस

3

रिश्तों को समझने में मदद करने के लिए, मैंने एफडीआर के इस ग्राफ को विभिन्न शक्तियों (अल्फा = 0.05 के साथ) के लिए पूर्व संभावना के एक समारोह के रूप में बनाया। इस ग्राफ पर ध्यान दें, और @Buckminster का समीकरण P से अल्फा के सभी परिणामों के लिए FDR की गणना करता है। यदि आप केवल एक अध्ययन में अवलोकन करने के लिए पी मान के बहुत करीब हैं, तो ग्राफ अलग दिखाई देगा।


2
और यहाँ एक चमकदार ऐप संस्करण (हालांकि थोड़ा अलग है): buckminster.shinyapps.io/FalseDiscoveryRate
रिचर्ड बॉर्डर

1

प्रकाशन का सुझाव देना एक निर्णय है। मुझे लगता है कि इस फैसले से जुड़े लाभ और लागत क्या हैं, इसका अध्ययन करना सार्थक है।

1) अकादमिक वातावरण सार्वभौमिक रूप से शोधकर्ताओं को अधिक प्रकाशित करने के लिए प्रेरित करता है, सोचा कि प्रकाशनों की विभिन्न रैंकिंग भी इस रिकॉर्ड को प्रभावित करेगी। हम यह मान सकते हैं कि अधिक प्रतिष्ठित पत्रिकाओं में अधिक मजबूत गुणवत्ता की जाँच हो सकती है (मुझे आशा है कि)।

2) प्रकाशनों के बहुत बड़े उत्पादन से जुड़ी सामाजिक लागतें हो सकती हैं। इन संसाधनों का बेहतर उपयोग कहीं और किया जा सकता है, जैसे परिणामों के प्रकाशन के बिना लागू शोध में। हाल ही में एक प्रकाशन हुआ था कि कई प्रकाशन महत्वपूर्ण नहीं हैं क्योंकि नए प्रकाशनों की पर्याप्त मात्रा के स्रोत बहुत बड़े हैं ... :)

http://arxiv.org/pdf/1503.01881v1.pdf

व्यक्तिगत शोधकर्ता संख्या के लिए एक संख्या अधिक प्रकाशित करने के लिए और मुझे लगता है कि संस्थागत गुणवत्ता की जांच होनी चाहिए जो स्वीकार किए गए स्तर पर गुणवत्ता रखने के लिए व्यक्तिगत लोगों पर निर्भर नहीं हैं।

किसी भी मामले में आपके पैरामीटर मान तथ्य नहीं हैं, इन परिणामों को विभिन्न लागतों और लाभों के विचार से प्रकाशित किया जाना चाहिए, जब परिणाम सही और / या गलत तरीके से प्रकाशित किए गए हों।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.