कैसे पता लगाएं कि जब आप परस्पर विरोधी परिणाम देते हैं तो कौन सा बेहतर अध्ययन है?


11

आप अक्सर प्रेस में विभिन्न अध्ययनों में आते हैं जो सीधे विपरीत परिणाम प्राप्त करते हैं। वे एक नई डॉक्टर के पर्चे की दवा या एक विशिष्ट पोषक तत्व की योग्यता या उस मामले के लिए कुछ और से संबंधित हो सकते हैं।

जब दो ऐसे अध्ययन परस्पर विरोधी परिणामों पर आते हैं, तो आप कैसे बता सकते हैं कि दोनों में से कौन सा सत्य के सबसे करीब है?


शायद यह सीडब्ल्यू होना चाहिए? इस सवाल का एक अनूठा जवाब नहीं होगा और कई दृष्टिकोण और दृष्टिकोण उभर सकते हैं।
whuber

2
@ जब मैं सीडब्ल्यू के खिलाफ मतदान करूंगा क्योंकि भले ही अलग-अलग दृष्टिकोण हों, एक सबसे अच्छा तरीका होने की संभावना है । यह एक ही परिकल्पना है कि विभिन्न रूपरेखाओं / मॉडलों का उपयोग करके कैसे परीक्षण किया जा सकता है लेकिन एक सबसे अच्छा दृष्टिकोण होने की संभावना है।

@ श्रीकांत: किसी भी विशेष मामले में मैं कल्पना कर सकता हूं कि आप अपने जोर का समर्थन करने के लिए एक मजबूत बचाव कर सकते हैं। सामान्य तौर पर, हालांकि - जो वर्तमान स्थिति है - सबसे अच्छा जवाब संदर्भ पर निर्भर करेगा। एक सरल (और अपूर्ण) उदाहरण के रूप में, डिज़ाइन किए गए भौतिक प्रयोगों की एक जोड़ी का मूल्यांकन करने के बीच के अंतरों पर विचार करें (जैसे कि प्रकाश की गति को मापना, जहां ऐतिहासिक रूप से अधिकांश आत्मविश्वास अंतरालों ने सच्चाई को याद किया है!) और सामाजिक दर्शकों में एक अवलोकन अध्ययन। ।
whuber

@ शुभंकर शायद, हमें मेटा पर इस बातचीत को जारी रखना चाहिए। मैं स्वीकार करता हूं कि सीडब्ल्यू का उपयोग कब करना है और कब नहीं करना है, इस बारे में मैं अभी भी फजीहत कर रहा हूं: इस सवाल का सबसे अच्छा जवाब तो यह होगा कि इसका जवाब संदर्भ निर्भर है और कुछ उदाहरणों के माध्यम से समझाएं। किसी भी मामले में, मुझे किसी तरह लगता है कि यह प्रश्न सीडब्ल्यू नहीं होना चाहिए, लेकिन मैं ऊपर बताए गए लोगों से परे किसी भी अन्य कारणों को स्पष्ट करने में असमर्थ हूं।

जवाबों:


3

मुझे लगता है कि यदि आप दो प्रायोगिक अध्ययन या वास्तविक मेटा-विश्लेषण की जांच कर रहे हैं, तो जिरोमी का उत्तर पर्याप्त है। लेकिन अक्सर हम दो गैर-प्रायोगिक अध्ययनों का सामना करने के साथ सामना करते हैं, और उन दो असमान निष्कर्षों की वैधता का आकलन करने का काम करते हैं।

जैसा कि साइरस की सवालों की किराने की सूची से पता चलता है, विषय ही छोटी प्रतिक्रिया के लिए उत्तरदायी नहीं है, और इस तरह के प्रश्न को संबोधित करने के लिए पूरी किताबें संक्षेप में हैं। गैर-प्रायोगिक डेटा पर अनुसंधान करने में रुचि रखने वाले किसी भी व्यक्ति के लिए, मैं आपको पढ़ने का सुझाव दूंगा

विलियम आर। शदीश, थॉमस डी। कुक, डोनाल्ड थॉमस कैंपबेल (सामान्य तौर पर मैंने यह भी सुना है कि इस पाठ के पुराने संस्करण उतने ही अच्छे हैं) सामान्यीकृत कारण के लिए प्रायोगिक और अर्ध-प्रायोगिक डिजाइन

कई वस्तुओं को जिरोमी (बड़े नमूना आकार, और अधिक कार्यप्रणाली कठोरता) के लिए संदर्भित किया गया था, और साइरस का उल्लेख है कि कैम्पबेल और कुक को "आंतरिक वैधता" के रूप में संदर्भित किया जाता है। इनमें एक्स और वाई के बीच संबंधों का आकलन करने के लिए उपयोग किए जाने वाले अनुसंधान डिजाइन और सांख्यिकीय तरीके शामिल हैं। विशेष रूप से आलोचकों के रूप में हम या तो उन पहलुओं के बारे में चिंतित हैं जो परिणामों को पूर्वाग्रहित कर सकते हैं, और निष्कर्षों की विश्वसनीयता को कम कर सकते हैं। चूंकि यह एक मंच है जो सांख्यिकीय विश्लेषण के लिए समर्पित है, अधिकांश उत्तर सांख्यिकीय तरीकों के आसपास केंद्रित होते हैं ताकि आप जिस भी रिश्ते का आकलन कर रहे हैं उसका निष्पक्ष अनुमान लगा सकें। लेकिन उनके सांख्यिकीय विश्लेषण के लिए असंबंधित अनुसंधान डिजाइन के अन्य पहलू हैं जो निष्कर्षों की वैधता को कम करते हैं, कोई फर्क नहीं पड़ता कि उनके सांख्यिकीय विश्लेषण में क्या कठोर लंबाई आती है (जैसे कि साइरस ने प्रयोग की निष्ठा के कई पहलुओं का उल्लेख किया है लेकिन साथ हल नहीं किया जा सकता है सांख्यिकीय विधियाँ, और यदि वे होती हैं तो हमेशा अध्ययन परिणामों की वैधता कम हो जाएगी)। आंतरिक वैधता के कई अन्य पहलू हैं जो गैर-प्रायोगिक अध्ययनों के परिणामों की तुलना में मूल्यांकन करने के लिए महत्वपूर्ण हो जाते हैं जो यहां उल्लिखित नहीं हैं, और अनुसंधान डिजाइनों के पहलू जो निष्कर्षों की विश्वसनीयता को भेद सकते हैं। मुझे नहीं लगता कि यहां बहुत अधिक विस्तार में जाना काफी उपयुक्त है,

कैंपबेल और कुक भी अध्ययन की "बाहरी वैधता" का उल्लेख करते हैं। अनुसंधान डिजाइन का यह पहलू अक्सर दायरे में बहुत छोटा होता है, और आंतरिक वैधता पर उतना ध्यान देने योग्य नहीं होता है। बाहरी वैधता अनिवार्य रूप से निष्कर्षों की सामान्यता से संबंधित है, और मैं कहूंगा कि आम तौर पर बाहरी वैधता का यथोचित मूल्यांकन कर सकते हैं जब तक कि वे विषय से परिचित हों। लॉन्ग स्टोरी शॉर्ट ने शदीश की, कुक की और कैंपबेल की किताब पढ़ी।


8

मेटा विश्लेषण साहित्य अपने प्रश्न के लिए प्रासंगिक है। मेटा-एनालिटिक तकनीकों का उपयोग करके आप अध्ययनों में जमा ब्याज के प्रभाव का अनुमान लगा सकते हैं। इस तरह की तकनीकें अक्सर उनके नमूना आकार के संदर्भ में अध्ययन का भार उठाती हैं।

मेटा विश्लेषण के संदर्भ में शोधकर्ता निश्चित प्रभाव और यादृच्छिक प्रभाव मॉडल ( हंटर और श्मिट, 2002 देखें ) के बारे में बात करते हैं । एक निश्चित प्रभाव मॉडल मानता है कि सभी अध्ययन समान जनसंख्या प्रभाव का अनुमान लगा रहे हैं। एक यादृच्छिक-प्रभाव मॉडल मानता है कि अध्ययन जनसंख्या प्रभाव में भिन्न होता है जिसका अनुमान लगाया जा रहा है। एक यादृच्छिक-प्रभाव मॉडल आमतौर पर अधिक उपयुक्त होता है।

जैसे-जैसे अधिक अध्ययन एक विशेष संबंध को देखते हुए जमा होते हैं, और अधिक परिष्कृत दृष्टिकोण संभव हो जाते हैं। उदाहरण के लिए, आप विभिन्न गुणों, जैसे कथित गुणवत्ता, के संदर्भ में अध्ययन को कोड कर सकते हैं और फिर अनुभवजन्य रूप से जांच सकते हैं कि क्या प्रभाव आकार इन अध्ययन विशेषताओं के साथ भिन्न होता है। गुणवत्ता से परे अध्ययनों के बीच कुछ सैद्धांतिक रूप से प्रासंगिक अंतर हो सकते हैं जो रिश्ते को संयत करेगा (उदाहरण के लिए, नमूने की विशेषता, खुराक का स्तर, आदि)।

सामान्य तौर पर, मैं पढ़ाई पर भरोसा करता हूं:

  • बड़ा नमूना आकार
  • अधिक से अधिक कार्यप्रणाली कठोरता
  • एक पुष्टिकरण अभिविन्यास (उदाहरण के लिए, एक अध्ययन नहीं जहां उन्होंने 100 विभिन्न पोषक तत्वों और 50 स्वास्थ्य परिणामों के बीच सहसंबंधों के लिए परीक्षण किया)
  • हितों के टकराव की अनुपस्थिति (जैसे, किसी रिश्ते को दिखाने में व्यावसायिक हित वाली कंपनी द्वारा नहीं; महत्वपूर्ण परिणाम खोजने के लिए प्रोत्साहन देने वाले शोधकर्ता द्वारा नहीं)

लेकिन यह कहा कि आपको परस्पर विरोधी अध्ययन निष्कर्षों की एक विस्तृत व्याख्या के रूप में अध्ययन के बीच यादृच्छिक नमूनाकरण और सैद्धांतिक रूप से सार्थक अंतर रखने की आवश्यकता है।


मुझे विशेष रूप से मेटा-विश्लेषण में साक्ष्य एकत्र करने के साधन के रूप में संभावना अनुपात पसंद है; यदि आपके पास प्रत्येक अध्ययन के लिए उनकी गणना करने के लिए पर्याप्त डेटा है, तो आप बस एक परिकल्पना के खिलाफ / के लिए कुल साक्ष्य का प्रतिनिधित्व करने के लिए अध्ययन भर में उत्पाद की गणना करते हैं।
माइक लॉरेंस

मैंने साइरस के जवाब के बाद मेटा एनालिसिस की प्रासंगिकता पर (ir) प्रासंगिकता पर टिप्पणी की, लेकिन इस प्रतिक्रिया को और सब कुछ, विशेषकर बुलेट पॉइंट्स के लिए बढ़ा दिया।
whuber

@whuber @ Gaetan का प्रश्न मानता है कि एक अध्ययन सच्चाई के करीब है। मैं एक मेटा-एनालिटिक फ्रेमवर्क के भीतर अध्ययनों के बीच परिणामों में एक कदम वापस लेने और बदलाव को अलग करने की कोशिश करता हूं, इस संभावना को स्वीकार करते हुए कि अध्ययन समान गुणवत्ता का हो सकता है, लेकिन यह यादृच्छिक नमूना या मूल अंतर स्पष्टीकरण हो सकता है।
जेरोमे एंगलिम

@whuber यहां तक ​​कि दो-अध्ययनों के साथ ब्याज के प्रभाव का मेटा-एनालिटिक अनुमान बनाना संभव होगा। बेशक, प्रभाव के अनुमान का विश्वास अंतराल बड़ा हो सकता है। लेकिन अनिश्चितता की एक उच्च डिग्री की उम्मीद की जानी चाहिए यदि केवल दो अध्ययन किए गए हैं और वे परस्पर विरोधी परिणाम दे रहे हैं।
जेरोमे एंग्लीम

5

जब तक आप संभावित स्रोतों या लक्ष्य आबादी में भिन्नता की जांच नहीं करते, मैं मेटा-विश्लेषण पर विचार करना बंद कर दूंगा। यदि ये उपचार प्रभावों का अध्ययन करते हैं, तो क्या उपचार को यादृच्छिक रूप से सौंपा गया था? वहाँ प्रोटोकॉल से विचलन थे? क्या गैर-अनुपालन था? क्या लापता परिणाम डेटा है? एक ही फ्रेम से तैयार किए गए नमूने थे? क्या भाग लेने से इनकार कर दिया गया था? कार्यान्वयन त्रुटियां? क्या मानक त्रुटियों को सही ढंग से गणना की गई थी, विभिन्न पैरामीट्रिक मान्यताओं के लिए क्लस्टरिंग और मजबूत करने के लिए लेखांकन? आपके द्वारा इन प्रश्नों के उत्तर देने के बाद ही मुझे लगता है कि मेटा-विश्लेषण के मुद्दे चित्र में प्रवेश करने लगते हैं। यह दुर्लभ होना चाहिए कि किसी भी दो अध्ययनों के लिए मेटा-विश्लेषण उचित है, जब तक कि आप सों वीर मान्यताओं को बनाने के लिए तैयार नहीं हैं।


लेकिन क्या ये कदम मेटा-विश्लेषण का हिस्सा नहीं हैं?
१०'१०

3
@chl: सच है, लेकिन मुद्दा यह है कि इन कदमों से सवाल का सार मिलता है। एक मेटा-विश्लेषण केवल तभी उपयोगी होगा जब कई अध्ययन हों (केवल दो नहीं) और उनकी योग्यता का पहले से ही सावधानीपूर्वक मूल्यांकन किया गया हो। हमारे सामने प्रश्न वास्तव में पूछ रहा है कि किसी एक अध्ययन की गुणवत्ता का मूल्यांकन करने के बारे में कैसे जाना जाता है, या पहली बार में परस्पर विरोधी अध्ययनों की जोड़ी। साइरस ने इसके कई पहलुओं में से कुछ को इंगित किया है; एक उचित उपचार में आमतौर पर विश्वविद्यालय स्तर के अध्ययन के एक या दो सेमेस्टर की आवश्यकता होती है। इस प्रकाश में मुझे लगता है कि "वीर" शब्द का उपयोग कुछ हद तक समझा जाता है!
whuber

1
@whuber हां, मैं आपसे और @ साइरस से सहमत हूं। बेशक, पिछले अध्ययनों की गुणवत्ता और विश्वसनीयता का आकलन एक अनिवार्य कदम है (और हर अध्ययन की समीक्षा करने में समय लगता है, खासकर जब हमें लेखकों से संपर्क करना पड़ता है क्योंकि एमएस में चेतावनी गायब है); मुझे लगा कि यह मेटा-विश्लेषण का हिस्सा था, और "सांख्यिकीय भाग" भरोसेमंद परिणामों का एक मात्रात्मक सारांश लाने के लिए कम करता है।
चपला
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.