पोस्ट-हॉक परीक्षण के साथ समस्या क्या है?


15

मेरा आँकड़ा प्रोफेसर ऐसा कहता है, सभी पुस्तकें जो मैं इसे देखता हूं: राज्य -परीक्षण-परीक्षण अवैज्ञानिक है। आपको पहले सिद्धांत से एक परिकल्पना प्राप्त करनी चाहिए, और फिर डेटा एकत्र करना और उसका विश्लेषण करना होगा।

लेकिन मैं वास्तव में यह नहीं समझता कि समस्या क्या है।

मान लीजिए, मैं अलग-अलग कार रंगों के लिए बिक्री के आंकड़े देखता हूं और परिकल्पना बनाता हूं कि विभिन्न रंगों वाली कारों की संख्या से कारों के सबसे बड़े समूह को बेच दिया जाए। इसलिए मैं एक दिन किसी सड़क पर बैठता हूं और सभी कारों के सभी रंगों को नोट करता हूं जो मुझे गुजरती हैं। फिर मैं कुछ परीक्षण करता हूं और जो भी पाता हूं।

अब, मान लीजिए कि मैं ऊब गया था और एक दिन किसी सड़क पर बैठा था और मुझे गुजरने वाली सभी कारों के सभी रंगों पर ध्यान दिया। चूंकि मुझे ग्राफ़ से प्यार है, मैं एक सुंदर हिस्टोग्राम की साजिश रचता हूं और पाता हूं कि सफेद कारें सबसे बड़ा समूह बनाती हैं। इसलिए मुझे लगता है कि शायद सड़क पर ज्यादातर कारें सफेद हैं और कुछ परीक्षण करती हैं।

हॉक टेस्ट के नतीजों की व्याख्या कैसे और क्यों करते हैं या पोस्ट-हॉक टेस्ट के परिणामों की व्याख्या सिद्धांत-आधारित * परिकल्पना परीक्षण से भिन्न है?

* वैसे भी, पोस्ट-हॉक टेस्ट के विपरीत का नाम क्या है?


मैं यह जोड़ना चाहूंगा कि ब्रह्मांड (पृथ्वी सूर्य के चारों ओर घूमती है) के बारे में हमारा अधिकांश ज्ञान अवलोकन से पोस्ट हॉक है।

मुझे ऐसा लगता है कि भौतिकी में यह मान लेना पूरी तरह से ठीक है कि यह संयोग नहीं है कि सूर्य पिछले एक हजार वर्षों से पूर्व में उग रहा है।



@ स्कोर्ट्ची हम्म, धन्यवाद, लेकिन सभी मैं पा सकता हूं: "यह सांख्यिकीय परीक्षण का दुरुपयोग होगा, जैसा कि कई जगहों पर स्पष्ट रूप से समझाया और प्रदर्शित किया गया है।" बाकी टिप्पणियाँ और उत्तर पोस्ट-हॉक परीक्षण की समस्या की व्याख्या नहीं करते हैं, लेकिन सामान्य रूप से परीक्षण के बारे में बताते हैं।

2
अमीबा के जवाब (आपके 1 परिदृश्य के बराबर) की तुलना व्हिबर (आपके 2 के बराबर) से करें।
Scortchi - को पुनः स्थापित मोनिका

3
बस ध्यान दें कि पोस्ट-हॉक के विपरीत एक प्राथमिकता है। ऊपर दी गई पोस्ट में @whuber का उत्तर बहुत व्यापक है, लेकिन आप खोजपूर्ण डेटा विश्लेषण बनाम पुष्टिकरण डेटा विश्लेषण देख सकते हैं।
पीटर फ्लॉम - मोनिका

जवाबों:


12

"आप जानते हैं, आज रात मेरे लिए सबसे आश्चर्यजनक बात हुई। मैं यहाँ आ रहा था, व्याख्यान के रास्ते में, और मैं पार्किंग स्थल से अंदर आया। और आपको विश्वास नहीं होगा कि क्या हुआ था। मैंने लाइसेंस के साथ एक कार देखी। प्लेट एआरडब्ल्यू 357। क्या आप कल्पना कर सकते हैं? राज्य की सभी लाखों लाइसेंस प्लेटों में, क्या मौका था कि मैं उस विशेष एक रात को देखूं? कमाल है! " रिचर्ड फेनमैन

मुझे लगता है कि मैं इस समस्या के गहरे तकनीकी पहलुओं की व्याख्या करने की स्थिति में नहीं हूं। हालाँकि मुझे लगता है कि उनमें से कई को एक अंतर्ज्ञान के लिए कम किया जा सकता है।

पहले सेट अप में आप कुछ परिकल्पना के साथ शुरू करते हैं जिसे आप नए डेटा (डिज़ाइन किए गए प्रयोग से) पर सत्यापित करते हैं। बिक्री के आंकड़ों का अध्ययन आपको एक बहुत अच्छे से तैयार किए गए प्रयोग की ओर ले जा सकता है, जहां आप वास्तव में यह तय कर सकते हैं कि आपका उत्तर कितना मजबूत होना चाहिए (सांख्यिकीय शक्ति, पी-मान, नमूना आकार और अन्य कई सामान)।

दूसरे सेट में सबसे पहले यह है कि आप उत्तर की ताकत के बारे में कुछ नहीं तय करते हैं। यह एक समस्या है। दूसरी समस्या यह है कि परीक्षणों के लिए उपयोग किए जाने वाले एक ही नमूने से परिकल्पना को निकालने पर, बहुत ही बेकाबू तरीके से वृद्धि होगी कि यादृच्छिक पैटर्न को बहुमूल्य जानकारी के रूप में व्याख्या किया जाता है। आप जो करते हैं वह कुछ नोटिस करना है (कि सफेद कारें बहुत संख्या में हैं) और अपने आप से पूछें कि क्या यह महत्वपूर्ण है। मुद्दा यह है कि आपने केवल उस नमूने पर दिखाई देने वाले एक उल्लेखनीय तथ्य को चुना है , जो अन्य परिकल्पनाओं को छोड़ रहा है। यह करते हुए कि आपने कुछ परिकल्पना के लिए अनुकूल परिस्थितियां बनाई हैं, और आप अधिकांश एप्रीओरी सांख्यिकीय परीक्षणों की धारणाओं को तोड़ते हैं।

यह व्यवहार करना वैज्ञानिक नहीं है जैसे कि आप इस रिसाव के बारे में नहीं जानते थे , और दिखावा करते हैं कि यह अपनी सभी मान्यताओं के साथ एक प्रयोग है, जब यह सच नहीं है। इस मामले में वैज्ञानिक है कि इसका परीक्षण करने के लिए एक परिकल्पना तैयार करने और एक नए प्रयोग को डिजाइन करने के लिए पोस्ट हॉक विश्लेषण का उपयोग किया जाए।


लेकिन एक प्रयोग नहीं है, विशेष रूप से एक परिकल्पना के लिए स्थापित, "अनुकूल" स्थितियों का सबसे चरम रूप?

1
केवल एक चीज जो एक प्रयोग "एहसान" करती है, वह उत्तर की वैधता है। और अन्य बातों के अलावा, यह एक विशिष्ट परिकल्पना को "अनुकूल नहीं" करने की कोशिश करता है।
रापैयो

4

यदि आप पहले डेटा एकत्र करते हैं और फिर डेटा के आधार पर एक सिद्धांत का निर्माण करते हैं, तो आपको अपनी टिप्पणियों के लिए एक कहानी फिट करने का खतरा है। समस्या यह है कि हम इंसान कहानी लिखने में बहुत अच्छे हैं। एक और तरीका रखो: किसी भी डेटा को एक कहानी द्वारा "समझाया" जा सकता है, अगर कहानी बस पर्याप्त रूप से जटिल हो।

यह प्रक्रिया अच्छे उपाख्यानों के लिए प्रदान करती है। हालांकि, ऐसा कोई कारण नहीं है कि यह वास्तविकता को समझाए और / या अच्छी भविष्यवाणी प्रदान करे। आपको उसके लिए एक मॉडल सेट और मान्य करना होगा ।

xkcd नोट करता है कि यह घटना खेल "कमेंट्री" को व्याप्त करती है :

खेल टीका

संबंधित पेरेडोलिया की घटना है : ऐसे पैटर्न को देखना जहां कोई भी मौजूद नहीं है। उदाहरण के लिए, "फेस" लोगों ने मंगल ग्रह के पहले उपग्रह चित्रण में देखा:

मंगल का चेहरा

इसके अलावा, के रूप में आप अधिक डेटा एकत्र, आप सावधान आप नहीं है करने की आवश्यकता है यह अपनी टिप्पणियों "की व्याख्या करने के लिए" "जारी रखें" बनाने के लिए कभी अधिक विचित्र तरीकों से अपनी कहानी tweak :

चुनावी मिसाल


2

विज्ञान उन परिकल्पनाओं को आधार बनाकर संचालित होता है (जो निश्चित रूप से अनुभव से प्रेरित होते हैं ), उन परिकल्पनाओं के आधार पर भविष्यवाणियां करते हैं और फिर उनका परीक्षण करते हैं। क्या अतीत में किसी चीज का निरीक्षण करना, इस अवलोकन को एक सिद्धांत में सामान्य बनाना होगा, लेकिन फिर अतीत को एक तरह के पूर्वव्यापी प्रयोग के रूप में माना जाता है जो सिद्धांत को स्वचालित रूप से मान्य करता है? नहीं, क्योंकि पूरा सवाल यह था कि आपका सिद्धांत कितना सामान्य था, अतीत में एक बार काम किया था या नहीं। यही कारण है कि डेटा द्वारा सुझाई गई परिकल्पना का परीक्षण करना बुरा विज्ञान माना जाता है।


1

आपके प्रोफेसर और अन्य उत्तर सही हैं कि पोस्ट-हॉक विश्लेषण में समस्याएं हैं। हालाँकि, आप सही भी हैं कि बहुत से अच्छे विज्ञान पोस्ट-हॉक विश्लेषण से आते हैं। मुख्य बिंदु यह है कि उचित रूप से डिज़ाइन किए गए प्रयोगों को प्राथमिकता दी जानी चाहिए और वास्तविक खोजों द्वारा गुम हुए कलाकृतियों को रोकने के लिए पश्चात विश्लेषण को सावधानी से और विशेष उपकरणों के साथ निपटाया जाना चाहिए। झूठी खोज दर पर विकिपीडिया लेख समस्या पर एक अंतर्दृष्टि दे सकता है।

बस कुछ उदाहरण देने के लिए:

  • यदि हम मवेशियों की पूरी दुनिया की आबादी पर बायोमेट्रिक उपाय करते हैं तो हम यह निष्कर्ष निकाल सकते हैं कि मवेशियों के दो नथुने हैं। यह वास्तव में पश्चात विश्लेषण है, लेकिन अधिकांश जीव विज्ञान, ज्वालामुखी या इतिहास इस तरह से बनाए गए हैं। कारण यह है कि हम इस तथ्य को खारिज नहीं करते हैं कि मवेशियों के पास दो नथुने हैं, इसके पक्ष में साक्ष्य इतने भारी हैं।
  • हम दिए गए मवेशियों के खेत में पिछले साल पैदा हुए बछड़ों से डेटा लेते हैं। हम महसूस करते हैं कि प्रत्येक मंगलवार को पूर्णिमा के तहत 50% से अधिक नए जन्मे बछड़े मादा थे - सिवाय उस देश या सार्वजनिक सर्दियों के सार्वजनिक अवकाशों के। यदि हमने पहले परिकल्पना की थी कि उन प्रकार के दिनों में अधिक महिला बछड़ों का उत्पादन होता है, तो हम एक परिकल्पना परीक्षण कर सकते हैं और उस परिकल्पना को स्वीकार (अस्वीकार) कर सकते हैं। हालाँकि, अगर हम इस बात को ध्यान में रखते हैं कि यह सिर्फ एक पोस्ट-हॉक विश्लेषण है, तो प्रमाण एक नकली घटना को अस्वीकार करने के लिए पर्याप्त नहीं होगा।

एक अक्सर उद्धृत लेख है कि विडंबना यह है कि पैराशूट के सभी सबूतों को उपाख्यान के रूप में उपयोगी माना जाता है - जो कि बाद के विश्लेषण के आधार पर साक्ष्य का एक विशेष रूप से बुरा वर्ग है।

और स्टेफ़न कोलासा के उत्तर द्वारा उपयोग किए गए एक अच्छे उदाहरण का उपयोग करने के लिए: मंगल ग्रह में एक चेहरे के समान कुछ काले धब्बे को पेरिडोलिया के रूप में खारिज किया जा सकता है, लेकिन लियोनार्डो दा विंची द्वारा टिनीस्टेस्ट को अंतिम आपूर्ति को पुन: पेश करने से कुछ नहीं बढ़ सकता।


0

यदि आपके पास अपने प्रस्तावों के समर्थन के लिए कोई सिद्धांत नहीं है, तो भले ही आपका प्रस्ताव मान्य हो, यह संयोग के माध्यम से हो सकता है और कुछ भी साबित नहीं करता है। उदाहरण के लिए, मुझे लगता है कि मैं सूर्य के उगने पर पॉटी करता हूं और पिछले 10 वर्षों से कर रहा हूं - इस डेटा के आधार पर, एक पोस्ट-हॉक विश्लेषण बताता है कि मेरे पॉटी करने और उगते सूरज के बीच एक संबंध है, " जबकि जो मौजूद है वह महज एक संयोग है। सूरज उगता नहीं है क्योंकि आप पॉटी या इसके विपरीत करते हैं।

जीवन संयोगों से भरा है। सिद्धांत समर्थित प्रस्ताव इस तरह के संयोग या छद्म संबंधों को समाप्त करता है।


अगर मेरे पास कोई सिद्धांत है और परिणाम उस सिद्धांत के अनुकूल हैं, तो यह केवल संयोग हो सकता है। यही कारण है कि सिद्धांतों को मान्य नहीं किया जा सकता है, केवल मिथ्या है। और वास्तव में, सुबह आंत्र आंदोलनों और सूरज के बीच एक संबंध है, सूर्य की चालें निर्बाध रूप से आंत्र की लय को नियंत्रित करती हैं और बारी-बारी से आंत्र आंदोलनों को प्रभावित करती हैं।

0

यहाँ एक अंतर्ज्ञान है जो आपको उपयोगी लग सकता है। यदि आप ऊब गए हैं और कारों की गिनती करते हैं, तो आपको अभी भी याद रखना होगा कि जो आप देखते हैं वह कुछ यादृच्छिक प्रक्रिया का परिणाम है। विशेष रूप से, कारें अलग-अलग रंग की हो सकती थीं ।

इसलिए यदि आप इस परिकल्पना का निर्माण करते हैं कि सबसे लगातार रंग सफेद है, यदि ऐसा हो सकता है क्योंकि यह वास्तव में है, लेकिन यह भी हो सकता है कि सबसे लगातार रंग लाल हो लेकिन, उस विशेष प्रयोग पर, सबसे अक्सर सफेद था (जो हमेशा संभव है )।

अब, अगर आप पोस्ट-हॉक करते हैं, तो आप सफेद होने के लिए सबसे अधिक बार परीक्षण करेंगे और यह देखते हुए कि डेटा ने सुझाव दिया है कि बहुत परिकल्पना है, आप अच्छी तरह से निष्कर्ष निकाल सकते हैं कि सफेद सबसे अक्सर है ... कम से कम, डेटा कभी भी विरोधाभासी नहीं होगा (पोस्ट-हॉक) परिकल्पना।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.