मेटा-विश्लेषण के पेशेवरों और विपक्ष


14

मैं विकास में अध्ययन के एक विशेष क्षेत्र के लिए कुछ मेटा-विश्लेषण करने पर विचार कर रहा हूं, लेकिन इससे पहले कि मैं आगे जाऊं मैं जानना चाहता हूं; सकारात्मक और प्रक्रिया के नकारात्मक क्या हैं? उदाहरण के लिए, व्यावहारिक प्रयोग की कोई आवश्यकता एक फायदा (समय और पैसा) नहीं है, लेकिन एक प्रकाशन पूर्वाग्रह (अधिक रोमांचक परिणाम प्रकाशित हो जाएगा) होगा जो एक नुकसान होगा।

सांख्यिकी पत्रिकाओं में कौन से कागजात मेटा-विश्लेषण के पेशेवरों और विपक्षों पर चर्चा करते हैं?


2
विपक्ष: (i) प्रकाशन पूर्वाग्रह; पत्रिकाओं ने तुच्छ निष्कर्षों को खारिज कर दिया (ii) फ़ाइल दराज प्रभाव; शोधकर्ताओं ने उन परीक्षणों को रोक दिया है जो बुरी तरह से शुरू हो रहे हैं या अशक्त परिणाम को रोक रहे हैं (iii) विदेशी जर्नल पूर्वाग्रह; नगण्य परिणाम विदेशी पत्रिकाओं में मिल जाते हैं, जो मेटा-विश्लेषणों में ज्यादा नहीं गिने जाते हैं। यह विशेष रूप से परामनोविज्ञान में एक समस्या है। संभवतः इसे ठीक करने का एक तरीका एक केंद्रीय निकाय बनाना है जो प्रयोग शुरू करने से पहले प्रयोग करने के इरादे को रिकॉर्ड करता है, फिर मेटा-विश्लेषण केवल उन लोगों पर विचार करते हैं जिन्होंने इस शरीर के साथ अपना पूर्व इरादा दर्ज किया था।

4
एन

जवाबों:


13

बोरेंस्टीन, हेजेस, हिगिन्स और रोथस्टीन द्वारा मेटा-विश्लेषण का परिचय मेटा-विश्लेषण के पेशेवरों और विपक्षों की विस्तृत चर्चा प्रदान करता है। उदाहरण के लिए अध्याय " मेटा-विश्लेषण की आलोचना " देखें जहां लेखक मेटा-विश्लेषण की विभिन्न आलोचनाओं का जवाब देते हैं। मैं उस अध्याय के लिए अनुभाग शीर्षकों पर ध्यान देता हूं और फिर उस बिंदु से संबंधित स्मृति से कुछ अवलोकन करता हूं:

  • "एक संख्या एक शोध क्षेत्र को संक्षेप में प्रस्तुत नहीं कर सकती है": एक अच्छा मेटा विश्लेषण वास्तविक प्रभाव आकारों में परिवर्तनशीलता को मॉडल करेगा और अनुमानों की अनिश्चितता को मॉडल करेगा।
  • "फ़ाइल दराज की समस्या मेटा-विश्लेषण को अमान्य करती है": फ़नल प्लॉट और संबंधित उपकरण आपको यह देखने की अनुमति देते हैं कि क्या प्रकाशन के पूर्वाग्रह की जांच के लिए नमूना आकार प्रभाव आकार से संबंधित है या नहीं। अप्रकाशित अध्ययन प्राप्त करने के लिए अच्छा मेटा-विश्लेषण प्रयास। इस मुद्दे को कथा अध्ययन के साथ साझा किया जाता है।
  • "मिक्सिंग सेब और संतरे": अच्छे मेटा-विश्लेषण में शामिल अध्ययनों को वर्गीकृत करने और मेटा-विश्लेषण में अध्ययनों के समावेश और बहिष्कार को सही ठहराने के लिए एक कठोर कोडिंग प्रणाली प्रदान की जाती है। अध्ययनों को वर्गीकृत करने के बाद, मॉडरेटर विश्लेषण यह देखने के लिए किया जा सकता है कि क्या प्रभाव का आकार अध्ययन प्रकार में भिन्न होता है।
  • "महत्वपूर्ण अध्ययनों को अनदेखा किया जाता है": आप अध्ययनों के मूल्यांकन की गुणवत्ता के लिए कोड कर सकते हैं। बड़े नमूनों को अधिक भार दिया जा सकता है।
  • "मेटा विश्लेषण यादृच्छिक परीक्षण से असहमत हो सकता है":
  • "मेटा-एनालिसिस खराब तरीके से किया जाता है": यह केवल मेटा-एनालिटिक विधियों के मानकों में सुधार के लिए एक तर्क है।
  • "एक कथा की समीक्षा बेहतर है?": कथा-समीक्षा द्वारा मेटा-विश्लेषण (जैसे, प्रकाशन पूर्वाग्रह) के कई समालोचना साझा किए जाते हैं। यह सिर्फ इतना है कि कथा की समीक्षाओं में अनुमान के तरीके कम स्पष्ट हैं और कम कठोर हैं।

14

उन्हें करने के मेरे अनुभव में, अगर वे पहले नहीं किए गए हैं, जैसे कि आप एक क्षेत्र पर अपना मोड़ नहीं दे रहे हैं, तो सही पत्रिकाओं में उनके खिलाफ पूर्वाग्रह नहीं है। एक मेटा-विश्लेषण विज्ञान में नहीं मिलेगा, लेकिन आपके क्षेत्र में अच्छी पत्रिकाएं आमतौर पर नए मेटा-विश्लेषणों के साथ ठीक होती हैं।

एक प्रयोग न करने से बचाए गए समय और लागत को अक्सर अन्य चीजें करने के लिए खाया जाता है। Biggies में से एक यह है कि कई लेख विश्लेषण करने के लिए पर्याप्त जानकारी नहीं देते हैं। आपको इसे पुनर्प्राप्त करने के लिए अक्सर लेखकों से संपर्क करना पड़ता है और वे दुर्भाग्य से सभी को या तो अनुरोधों का अनुपालन नहीं कर सकते हैं या नहीं करेंगे। यह प्रक्रिया का सबसे बड़ा समय सिंक है।

तुम भी उच्च उद्धरण दरों की तरह कुछ पेशेवरों को याद किया। यदि आप पहले और एकमात्र मेटा-विश्लेषण के नए शोधकर्ता हैं, तो अक्सर आपके पेपर का हवाला दिया जाएगा। एक और समर्थक अपेक्षाकृत आसान अनुवर्ती अध्ययन है। एक या दो साल में, अध्ययन के एक गतिशील क्षेत्र में, आपको बस अगले दो वर्षों के अनुसंधान को फॉलोअप मेटा-विश्लेषणों में जोड़ना होगा। यदि आप पहले प्रस्तावक हैं, तो अध्ययन के क्षेत्र में मेटा-विश्लेषणों का सह-चयन करना अपेक्षाकृत आसान है। यह तब अपेक्षाकृत उच्च प्रशस्ति पत्र दर की ओर जाता है।

यदि आप चिंतित हैं कि आप साहित्य से जो परिणाम प्राप्त कर रहे हैं उसका प्रकाशन पूर्वाग्रह है तो सांख्यिकीय तकनीकें हैं जैसे कि फ़नल प्लॉट्स (अध्ययन का आकार (अक्सर -सी), वाई-एक्सिस पर और एक्स पर प्रभाव) जिसका उपयोग किया जा सकता है ऐसे पता लगाएं। किसी विषय पर एक निष्पक्ष साहित्य में ऐसे परिणाम होंगे जो फ़नल प्लॉट में सममित होते हैं, लेकिन प्रकाशन पूर्वाग्रह के कारण एक प्रभाव बहुत अधिक लगेगा जैसे कि यह वितरण का सिर्फ आधा हिस्सा है। और प्रयोगों को करने के विपरीत, यह पता लगाना कि मेटा-विश्लेषण में जाने वाला डेटा पक्षपाती है।


प्रकाशन पूर्वाग्रह के बारे में मेरा पहला विचार यह था कि ओपी साहित्य अध्ययन के माध्यम से सुलभ डेटा के बारे में चिंतित है, न कि यह कि मेटा-विश्लेषण के परिणामों को कैसे प्रकाशित किया जाए।
कैबीलाइट्स

हां, मैं ताकत और कमजोरियों के बारे में अधिक सोच रहा था, जो मुझे यह तय करते समय विचार करना चाहिए कि क्या करना है या नहीं, और इसलिए मैं उनके प्रभावों को कम कर सकता हूं।
rg255

6

मुझे लगा कि मैं माइकल बोरेनस्टीन और सहयोगियों से माफी के साथ "मेटा-विश्लेषण की आलोचना" की आलोचना करूंगा।

  • "एक संख्या एक शोध क्षेत्र को संक्षेप में प्रस्तुत नहीं कर सकती है": एक अच्छा मेटा विश्लेषण वास्तविक प्रभाव आकारों में परिवर्तनशीलता को मॉडल करेगा और अनुमानों की अनिश्चितता को मॉडल करेगा।

! वेरिएंस केवल एक और संभवतः भ्रामक सारांश है जैसा कि अस्पष्ट है और दोनों बहुत भ्रामक होंगे यदि पक्षपात निश्चित रूप से लगभग नहीं हैं।

  • "फ़ाइल दराज की समस्या मेटा-विश्लेषण को अमान्य करती है": फ़नल प्लॉट और संबंधित उपकरण आपको यह देखने की अनुमति देते हैं कि क्या प्रकाशन के पूर्वाग्रह की जांच के लिए नमूना आकार प्रभाव आकार से संबंधित है या नहीं। अप्रकाशित अध्ययन प्राप्त करने के लिए अच्छा मेटा-विश्लेषण प्रयास। इस मुद्दे को कथा अध्ययन के साथ साझा किया जाता है।

! जैसा कि बॉक्स ने एक बार कहा था - जैसे कि रानी मैरी यात्रा करने के लिए समुद्र काफी शांत हैं या नहीं, यह देखने के लिए एक पंक्ति नाव भेजना। बहुत कम शक्ति और लगभग निश्चित रूप से गलत-निर्दिष्ट सेंसरिंग प्रक्रिया।

  • "मिक्सिंग सेब और संतरे": अच्छे मेटा-विश्लेषण में शामिल अध्ययनों को वर्गीकृत करने और मेटा-विश्लेषण में अध्ययनों के समावेश और बहिष्कार को सही ठहराने के लिए एक कठोर कोडिंग प्रणाली प्रदान की जाती है। अध्ययनों को वर्गीकृत करने के बाद, मॉडरेटर विश्लेषण यह देखने के लिए किया जा सकता है कि क्या प्रभाव का आकार अध्ययन प्रकार में भिन्न होता है।

! फिर से निराशाजनक शक्ति और आम तौर पर agregation पूर्वाग्रह के रूप में अच्छी तरह से।

  • "महत्वपूर्ण अध्ययनों को अनदेखा किया जाता है": आप अध्ययनों के मूल्यांकन की गुणवत्ता के लिए कोड कर सकते हैं। बड़े नमूनों को अधिक भार दिया जा सकता है।

! अब निराशाजनक शक्ति, मॉडल गलत-विनिर्देश और पूर्वाग्रह हमेशा ठीक से देखने के लिए जिम्मेदार नहीं हैं । मेटा-विश्लेषण में गुणवत्ता स्कोर द्वारा निर्मित पूर्वाग्रह पर

  • "मेटा विश्लेषण यादृच्छिक परीक्षण से असहमत हो सकता है":

! पूरी तरह से सहमत हैं और उनमें से वास्तविक अनिश्चितता के बारे में एकमात्र स्रोत भी है।

  • "मेटा-एनालिसिस खराब तरीके से किया जाता है": यह केवल मेटा-एनालिटिक विधियों के मानकों में सुधार के लिए एक तर्क है।

! पूरी तरह से सहमत।

  • "एक कथा की समीक्षा बेहतर है?": कथा-समीक्षा द्वारा मेटा-विश्लेषण (जैसे, प्रकाशन पूर्वाग्रह) के कई समालोचना साझा किए जाते हैं। यह सिर्फ इतना है कि कथा की समीक्षाओं में अनुमान के तरीके कम स्पष्ट हैं और कम कठोर हैं।

! पूरी तरह से सहमत।

सुनिश्चित नहीं हैं कि क्यों मेटा-विश्लेषण साहित्य maintians इस तरह के गुलाब रंग का चश्मा के बहुत - मेटा-विश्लेषण है किया जाना मेटा-विश्लेषण चिकित्सा अनुसंधान में: व्यक्तिगत अनुसंधान प्रयासों में उच्च गुणवत्ता के लिए मजबूत प्रोत्साहन है, लेकिन चाहिए गंभीर रूप से सभी का पूरा जागरूकता के साथ किया जा वार्ट्स।

और, जैसा कि मैं लगभग हमेशा भूल जाता हूं, मुझे यह स्पष्ट करने की आवश्यकता है कि मैं वास्तव में मेटा-विश्लेषण से क्या मतलब है क्योंकि दूसरों के लिए इसका मतलब यह है कि समय और स्थान पर विविधता है और शायद आज सबसे आम अर्थ है - केवल निकाले गए संख्याओं पर उपयोग की जाने वाली मात्रात्मक विधियां एक व्यवस्थित समीक्षा में - मेरा मतलब यह नहीं है। मेरा मतलब है कि पूरी व्यवस्थित समीक्षा प्रक्रिया, भले ही यह वास्तव में किसी भी मात्रात्मक तरीकों का उपयोग न करने का निर्णय लिया गया हो। या विकी में उद्धृत केवल एक वाक्य में

आंकड़ों में, एक मेटा-विश्लेषण विभिन्न अध्ययनों के परिणामों के विपरीत और संयोजन पर ध्यान केंद्रित करने के तरीकों को संदर्भित करता है, अध्ययन के परिणामों के बीच पैटर्न की पहचान करने की उम्मीद में, उन परिणामों के बीच असहमति के स्रोत, या अन्य दिलचस्प रिश्ते जो प्रकाश में आ सकते हैं। कई अध्ययन।


अच्छी बात, कथा की समीक्षा पिछले अध्ययनों की ताकत और कमजोरियों पर चर्चा करने के लिए अधिक स्वतंत्रता देती है, शायद मेटा-विश्लेषणों को अधिक कथा भूमिका पर ले जाना चाहिए और मौजूदा अध्ययनों पर चर्चा करना चाहिए न कि पुराने (शायद पक्षपाती और चर गुणवत्ता) से नए निष्कर्ष निकालने की कोशिश करें ) डेटा।
rg255

@ rg255 मैंने आपकी टिप्पणी को संबोधित करने के लिए अंत में थोड़ा सा जोड़ा है। इसके अलावा शायद मजबूत प्रोत्साहन संदर्भ से निष्कर्ष प्रासंगिक होगा।
फेनरॉन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.