पी <.05 पर प्रकाशित पी-वैल्यू के वितरण में असंतोष का कारण क्या है?

Question

हाल के एक पेपर में , मैसिकैम्पो और लालंडे (एमएल) ने कई अलग-अलग अध्ययनों में बड़ी संख्या में पी-वैल्यू प्रकाशित किए। उन्होंने 5% के विहित गंभीर स्तर पर पी-मूल्यों के हिस्टोग्राम में एक जिज्ञासु कूद देखा।

प्रो। वेसरमैन के ब्लॉग पर इस एमएल फेनोमेना के बारे में एक अच्छी चर्चा है:

http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

उनके ब्लॉग पर आपको हिस्टोग्राम मिलेगा:

चूंकि 5% का स्तर एक सम्मेलन है और प्रकृति का नियम नहीं है, इसलिए यह प्रकाशित पी-वैल्यू के अनुभवजन्य वितरण का कारण बनता है?

चयन पूर्वाग्रह, विहित गंभीर स्तर के ऊपर पी-मूल्यों का व्यवस्थित "समायोजन", या क्या?

Comments

स्पष्टीकरण के कम से कम 2 प्रकार हैं: 1) "फ़ाइल दराज समस्या" - पी के साथ अध्ययन <.05 प्रकाशित हो जाते हैं, जो उपरोक्त नहीं हैं, इसलिए यह वास्तव में दो वितरणों का मिश्रण है 2) लोग चीजों में हेरफेर कर रहे हैं, संभवतः सूक्ष्म रूप से , पी <.05 पाने के लिए

— पीटर Flom - को पुनः स्थापित मोनिका

हाय @ ज़ेन। हां, बिल्कुल उस तरह की बात। इस तरह से सामान करने की एक मजबूत प्रवृत्ति है। यदि हमारे सिद्धांत की पुष्टि की जाती है, तो हम सांख्यिकीय समस्याओं की तलाश में जाने की संभावना कम है यदि यह नहीं है। यह हमारी प्रकृति का हिस्सा प्रतीत होता है, लेकिन यह कुछ करने की कोशिश करने के लिए है।

— पीटर Flom - को पुनः स्थापित मोनिका

@Zen आप एंड्रयू गेलमैन के ब्लॉग पर इस पोस्ट में दिलचस्पी ले सकते हैं जिसमें कुछ शोध का उल्लेख है जो पाता है कि प्रकाशन पूर्वाग्रह के बारे में शोध में कोई प्रकाशन पूर्वाग्रह नहीं है ...! andrewgelman.com/2012/04/…

— smillig

क्या दिलचस्प होगा कि पत्रिकाओं में कागजात से पी-मूल्यों की गणना करें जो कि महामारी विज्ञान के लिए (और कुछ अर्थों में, अभी भी करता है) जैसे पी-मूल्य आधारित कागजों को स्पष्ट रूप से अस्वीकार करते हैं । मुझे आश्चर्य है कि अगर यह बदल जाता है अगर पत्रिका ने बाहर और कहा है कि यह परवाह नहीं करता है, या यदि समीक्षक / लेखक अभी भी आत्मविश्वास अंतराल के आधार पर मानसिक तदर्थ परीक्षण कर रहे हैं।

— फोमाइट

जैसा कि लैरी के ब्लॉग पर बताया गया है, यह प्रकाशित पी-वैल्यू का एक संग्रह है, बजाय पी-वैल्यू के दुनिया से नमूना किए गए पी-मानों का एक यादृच्छिक नमूना है। इस प्रकार कोई कारण नहीं है कि तस्वीर में एक समान वितरण दिखाई दे, यहां तक ​​कि मिश्रण के भाग के रूप में लैरी की पोस्ट में मॉडलिंग की गई।

— शीआन

Answer 1

(1) जैसा कि @PeterFlom द्वारा पहले ही उल्लेख किया गया है, एक स्पष्टीकरण "फ़ाइल दराज" समस्या से संबंधित हो सकता है। (2) @ ज़ेन ने उस मामले का भी उल्लेख किया है जहाँ लेखक (ओं) ने डेटा या मॉडल (जैसे डेटा ड्रेजिंग ) में हेरफेर किया है । (३) हालाँकि, हम विशुद्ध रूप से यादृच्छिक आधार पर परिकल्पनाओं का परीक्षण नहीं करते हैं। यही है, परिकल्पना को संयोग से नहीं चुना जाता है, लेकिन हमारे पास (अधिक या कम मजबूत) सैद्धांतिक धारणा है।

आपको गेरबर और मल्होत्रा ​​के कामों में भी दिलचस्पी हो सकती है, जिन्होंने हाल ही में उस क्षेत्र में शोध किया है, जो तथाकथित "कैलरी टेस्ट" को लागू करता है:

• क्या सांख्यिकीय रिपोर्टिंग मानकों को प्रभावित किया जाता है? दो प्रमुख राजनीति विज्ञान पत्रिकाओं में प्रकाशन पूर्वाग्रह

• अनुभवजन्य समाजशास्त्रीय अनुसंधान में प्रकाशन पूर्वाग्रह: क्या महत्त्वपूर्ण महत्व के स्तर प्रकाशित परिणाम विकृत करते हैं?

आप Andreas Diekmann द्वारा संपादित इस विशेष अंक में भी रुचि ले सकते हैं:

• अर्थशास्त्र और सामाजिक विज्ञान में मेथोडोलॉजिकल आर्टेक्ट्स, डेटा हेरफेर और धोखाधड़ी

Answer 2

एक तर्क जो अब तक गायब है, डेटा विश्लेषण का लचीलापन है जिसे शोधकर्ताओं ने स्वतंत्रता की डिग्री के रूप में जाना है। हर विश्लेषण में कई निर्णय लेने होते हैं, जहां बाह्य मापदंड को निर्धारित करना है, डेटा को कैसे बदलना है, और ...

यह हाल ही में सीमन्स, नेल्सन और साइमनोशन द्वारा एक प्रभावशाली लेख में उठाया गया था:

सीमन्स, जेपी, नेल्सन, एलडी, और सिमोनसोहन, यू (2011)। गलत-सकारात्मक मनोविज्ञान: डेटा संग्रह और विश्लेषण में अज्ञात लचीलापन महत्वपूर्ण के रूप में कुछ भी पेश करने की अनुमति देता है। मनोवैज्ञानिक विज्ञान , 22 (11), 1359 -1366। डोई: 10.1177 / 0956797611417632

(ध्यान दें कि सामाजिक साइकोलॉजी, जैसे साक्षात्कार , ब्लॉग-पोस्ट में डेटा धोखाधड़ी के कुछ हाल ही में पाए गए मामलों के लिए यह वही साइमनोसन है जो जिम्मेदार है )

Answer 3

मुझे लगता है कि यह सब कुछ का एक संयोजन है जो पहले ही कहा जा चुका है। यह बहुत दिलचस्प डेटा है और मैंने इस तरह से पहले पी-मूल्य वितरण को देखने के बारे में नहीं सोचा है। यदि शून्य परिकल्पना सच है तो पी-मूल्य एक समान होगा। लेकिन निश्चित रूप से प्रकाशित परिणामों के साथ हम कई कारणों से एकरूपता नहीं देखेंगे।

1. हम अध्ययन करते हैं क्योंकि हम शून्य परिकल्पना के झूठे होने की उम्मीद करते हैं। इसलिए हमें अधिक से अधिक बार महत्वपूर्ण परिणाम प्राप्त करने चाहिए।

2. यदि शून्य परिकल्पना केवल आधी बार झूठी थी, तो हमें पी-मूल्यों का एक समान वितरण नहीं मिलेगा।

3. फ़ाइल दराज समस्या: जैसा कि उल्लेख किया गया है कि हम कागज जमा करने से डरेंगे जब पी-मान 0.05 से नीचे महत्वपूर्ण नहीं है।

4. प्रकाशकों ने गैर-हस्ताक्षरित परिणामों के कारण कागज को अस्वीकार कर दिया, भले ही हमने इसे सबमिट करने के लिए चुना था।

5. जब परिणाम सीमा रेखा पर होते हैं तो हम महत्व प्राप्त करने के लिए चीजें करेंगे (शायद दुर्भावनापूर्ण इरादे से नहीं)। (ए) ०.०५ तक राउंड डाउन जब पी-वैल्यू ०.०५३ है, (बी) अवलोकन पाते हैं कि हमें लगता है कि वे आउटलेयर हो सकते हैं और ५.०५ से नीचे पी-वैल्यू ड्रॉप करने के बाद उन्हें rmoving करते हैं।

मुझे उम्मीद है कि यह सब कुछ है कि एक यथोचित समझ में कहा गया है संक्षेप में प्रस्तुत करता है।

मुझे लगता है कि ब्याज ब्याज 0.05 और 0.1 के बीच है। यदि प्रकाशन नियम 0.05 से अधिक पी-मानों के साथ कुछ भी अस्वीकार करने के लिए थे, तो दाहिनी पूंछ 0.05 पर कट जाएगी। क्या यह वास्तव में 0.10 पर कटऑफ था? यदि ऐसा है तो शायद कुछ लेखक और कुछ पत्रिकाएँ 0.10 के महत्त्वपूर्ण स्तर को स्वीकार करेंगे लेकिन इससे अधिक कुछ नहीं।

चूंकि कई कागजात में कई पी-मान शामिल होते हैं (गुणक या नहीं के लिए समायोजित) और कागज को स्वीकार किया जाता है क्योंकि महत्वपूर्ण परीक्षण महत्वपूर्ण थे हम सूची में शामिल निरर्थक पी-मान देख सकते हैं। यह सवाल उठाता है "हिस्टोग्राम में शामिल पेपर में सभी रिपोर्ट किए गए पी-मान थे?"

एक अतिरिक्त अवलोकन यह है कि प्रकाशित पत्रों की आवृत्ति में ऊपर की ओर एक महत्वपूर्ण प्रवृत्ति है क्योंकि पी-मान 0.05 से काफी नीचे है। हो सकता है कि पी-वैल्यू थिंकिंग पी <0.0001 से अधिक लेखकों का एक संकेत है जो प्रकाशन के लिए अधिक योग्य है। मुझे लगता है कि लेखक अनदेखा करता है या महसूस नहीं करता है कि पी-मूल्य नमूना आकार पर उतना ही निर्भर करता है जितना कि वह प्रभाव आकार के परिमाण पर करता है।