पी-वैल्यू भ्रामक कब हैं?

Question

वे डेटा स्थितियाँ क्या हैं जिनके लिए हमें देखना चाहिए, जहाँ पी-वैल्यू सांख्यिकीय महत्व तय करने का सबसे अच्छा तरीका नहीं हो सकता है? क्या विशिष्ट समस्या प्रकार हैं जो इस श्रेणी में आते हैं?

Comments

स्नार्की जवाब: लगभग हमेशा। जब विश्लेषक डेटा की जांच करते हैं, तो टाइप 1 त्रुटियों (यानी, "झूठे अलार्म") बनाने के लिए एक बड़ा प्रोत्साहन है, इसलिए आपके द्वारा सामना किए जाने वाले लगभग सभी पी-मान "बहुत" छोटे हैं।

— स्टैटट्रस

बस इसे वहाँ फेंक रहे हैं, लेकिन इस तरह का सवाल सबसे अच्छा नहीं होगा जिसे वैधता पर रखा गया है ?

— ब्यूजोमैन

@ बुरुजोमन: हो सकता है। मैंने एक खोज की, यह निकटतम मैच है: आंकड़े.stackexchange.com/questions/67320/… इस पर स्पर्श करने वाले कुछ प्रश्नों से अधिक नहीं लगता है।

— एलेक्स I

Answer 1

आप डेटा ड्रेजिंग के बारे में पूछ रहे हैं , जो तब होता है जब डेटा सेट के खिलाफ बहुत बड़ी संख्या में परिकल्पना का परीक्षण करना, या उसी डेटा द्वारा सुझाए गए डेटा सेट के खिलाफ परिकल्पना का परीक्षण करना।

विशेष रूप से, डेटा द्वारा सुझाए गए कई परिकल्पना खतरे , और परीक्षण परिकल्पना की जाँच करें ।

समाधान यह है कि फाल्स डिस्कवरी रेट या फैमिलीवाइज एरर रेट के लिए किसी तरह के करेक्शन का इस्तेमाल किया जाए , जैसे कि शेफी का तरीका या (बहुत पुराना-स्कूल) बोनफेरोनी करेक्शन ।

कुछ हद तक कम कठोर तरीके से, यह प्रत्येक सांख्यिकीय परिणाम के लिए अंतर अनुपात (OR) के लिए आत्मविश्वास अंतराल द्वारा आपकी खोजों को फ़िल्टर करने में मदद कर सकता है। यदि ऑड्स अनुपात के लिए 99% विश्वास अंतराल 10-12 है, तो कुछ बहुत छोटी संभावना के साथ OR <= 1 है, खासकर अगर नमूना आकार भी बड़ा है। यदि आपको ऐसा कुछ मिलता है, तो शायद यह एक मजबूत प्रभाव है भले ही यह लाखों परिकल्पनाओं के परीक्षण से निकला हो।

Comments

जबकि बोन्फ्रोनि निश्चित रूप से पुराने स्कूल में अभी भी बहुत लोकप्रिय है। इससे संबंधित एक विधि है जिसे kidák reform ( en.wikipedia.org/wiki/%C5%A0id%C3%A1k_correction ) कहा जाता है । मैं इसे बाहर बुला रहा हूं, क्योंकि जिस बड़े पैमाने पर लक्ष्यीकरण प्रणाली पर मैंने काम किया है, हम उस दृष्टिकोण को हाइव में यूडीएफ के रूप में लागू करने में सक्षम थे। हालाँकि यह केवल तभी बेहतर होता है जब आपके पास परीक्षणों के बीच स्वतंत्रता हो। यदि आपको बोनफरोनी या किसी अन्य विधि से वापस नहीं जाना है।

— क्रिस सिमोकैट

Answer 2

आपको संदर्भ से बाहर p- मान पर विचार नहीं करना चाहिए।

एक बल्कि मूल बिंदु (जैसा कि एक्सकेडी द्वारा सचित्र है ) यह है कि आपको यह विचार करने की आवश्यकता है कि आप वास्तव में कितने परीक्षण कर रहे हैं। जाहिर है, आपको 20 परीक्षणों में से एक के लिए p <0.05 को देखकर चौंकना नहीं चाहिए, भले ही हर बार शून्य परिकल्पना सच हो।

इसका एक अधिक सूक्ष्म उदाहरण उच्च-ऊर्जा भौतिकी में होता है, और इसे कहीं-कहीं प्रभाव के रूप में जाना जाता है । आप जिस सिग्नल के लिए खोजते हैं, वह बड़ा स्पेस एक नए कण का प्रतिनिधित्व कर सकता है, अधिक संभावना यह है कि आप एक स्पष्ट सिग्नल देख सकते हैं जो वास्तव में सिर्फ यादृच्छिक उतार-चढ़ाव के कारण है।

Answer 3

एक बात जो आपको पता होनी चाहिए कि आप जिस नमूना आकार का उपयोग कर रहे हैं। बहुत बड़े नमूने, जैसे कि जनगणना डेटा का उपयोग करने वाले अर्थशास्त्री, अपस्फीति वाले पी-मूल्यों को जन्म देंगे। यह पेपर "टू बिग बिग टू फेल: लार्ज सैंपल्स एंड द पी-वैल्यू प्रॉब्लम" में कुछ मुद्दों को शामिल किया गया है।