क्या सामाजिक विज्ञानों में अधिकांश प्रकाशित संबंध अविश्वसनीय हैं और इसके बारे में क्या किया जाना है? [बन्द है]

Question

शिकारी पत्रिकाओं की प्रथाओं को प्रकट करने के लिए व्यक्तियों द्वारा "गोचा" -वादी प्रयासों के महत्वपूर्ण लेकिन स्मैकिंग के बावजूद, सामाजिक विज्ञान अनुसंधान की छाया में अधिक से अधिक मौलिक खतरा उत्पन्न होता है ( हालांकि निश्चित रूप से कई समस्याएं हैं जिन्हें शोधकर्ताओं को संबोधित करने की आवश्यकता है )। इस बिंदु पर सीधे जाने के लिए, एक दृष्टिकोण के अनुसार हम 250 से छोटे नमूनों से प्राप्त सहसंबंध गुणांक पर भरोसा करने में सक्षम नहीं हो सकते हैं ।

विश्वसनीय सहसंबंध गुणांक की तुलना में सामाजिक विज्ञान में उपायों की मौजूदगी, दिशा, और शक्ति के बीच संबंध बनाने के लिए अधिक भरोसेमंद एक परीक्षण को खोजने के लिए किसी को मुश्किल से दबाया जाएगा। हालाँकि, 250 से कम मामलों वाले डेटा से गणना किए गए सहसंबंध गुणांक के आधार पर दो निर्माणों के बीच संबंध के बारे में मजबूत दावे करने वाली सहकर्मी-समीक्षा की गई रिपोर्टों को खोजने के लिए किसी पर कठोर दबाव नहीं डाला जाएगा।

सामाजिक विज्ञानों के सामने वर्तमान प्रतिकृति संकट को देखते हुए (ऊपर दूसरा लिंक देखें), हमें सहसंबंध गुणांक के स्थिरीकरण के बारे में इस रिपोर्ट को केवल बड़े नमूनों (कम से कम कुछ सामाजिक विज्ञान क्षेत्र के मानकों) पर कैसे देखना चाहिए? क्या यह पीयर-रिव्यू किए गए सामाजिक विज्ञान अनुसंधान की दीवार में एक और दरार है, या यह एक अपेक्षाकृत तुच्छ मामला है जो इसकी प्रस्तुति में ओवरब्लॉक किया गया है?

जैसा कि इस प्रश्न का एक भी सही उत्तर होने की संभावना नहीं है, मैं इसके बजाय एक धागा उत्पन्न करने की आशा करता हूं जहां इस प्रश्न के बारे में संसाधनों को साझा किया जा सकता है, विचारशील रूप से और बहस की जा सकती है (विनम्रता और सम्मानपूर्वक)।

Comments

मैं मानता हूं कि यह एक राय आधारित प्रश्न है और साइट के सामान्य दिशानिर्देशों को पूरा करता है। तथ्य यह है कि लोगों की एक विस्तृत श्रृंखला आँकड़ों में अंतर्दृष्टि के लिए इस साइट पर आती है, जिसमें तकनीकों में निहित नुकसान की बेहतर समझ भी शामिल है, जिसे वे नियोजित करना चाहते हैं। मेरी आशा है कि इस व्यापक प्रश्न को प्रस्तुत करने में, मैं इस स्पष्ट रूप से अस्पष्ट लक्ष्य के साथ मदद कर सकता हूं। मानक त्रुटि की गणना करना सीखना एक बात है। एक साक्ष्य-आधारित निर्णय लेने के दौरान इसे सीखने का मतलब क्या है, यह सीखना एक और है।

— मैट बैरस्टेड

इससे भी बुरी बात यह है कि उन "अनिवार्य 250" मामलों का चयन कैसे किया जाता है। मैं अधिक से अधिक बार देखता हूं कि कोई व्यक्ति सोशल मीडिया साइट पर एक पेपर या थीसिस के लिए आवश्यक सर्वेक्षण को पूरा करने के लिए एक दलील पोस्ट करता है। सर्वेक्षण के विषय के साथ पूरा करें। पूरी तरह से अनभिज्ञ कि कवि आत्म-चयन कैसे करेगा। यादृच्छिक नमूनों के लिए अच्छा है, क्योंकि किसी के सामाजिक समूह में कविता यादृच्छिक नहीं होती है, आमतौर पर समान वैचारिक / राजनीतिक / आर्थिक समूहों से संबंधित होती है, और इस विषय में उनकी रुचि के आधार पर स्व-चयन भी होता है। क्यू "90% एक्स के पक्ष में हैं" , सिर्फ इसलिए कि जो उदासीन हैं वे स्वयंसेवक नहीं थे।

— vsz

Answer 1

अनुमानित सच्चे सहसंबंध गुणांक के लिए आत्मविश्वास अंतराल जोड़ना $\rho$सही दिशा में एक छोटा (और बहुत सरल) पहला कदम होगा। इसकी चौड़ाई आपको तुरंत अपने नमूना सहसंबंध की सटीकता पर एक छाप देती है और, एक ही समय में, लेखक और दर्शकों को उपयोगी परिकल्पना का परीक्षण करने की भी अनुमति देती है। सामाजिक विज्ञान के सांख्यिकीविदों से बात करते समय मुझे हमेशा हैरान करता है कि ऊपर एक पूर्ण नमूना सहसंबंध गुणांक है$L = 0.3$(या कुछ अन्य सीमा) को सार्थक माना जाता था। उसी समय, वे कामकाजी परिकल्पना का परीक्षण कर रहे थे$\rho \ne 0$। यह अगोचर है। एक बहुत छोटी जनसंख्या सहसंबंध गुणांक को अचानक सार्थक क्यों माना जाएगा? "सही" कामकाजी परिकल्पना होगी$|\rho| > L$। के लिए एक विश्वास अंतराल होने$\rho$ इस प्रकार, इस तरह की परिकल्पनाओं को आसानी से परखा जा सकता है: बस जाँच लें कि अंतराल पूरी तरह से ऊपर स्थित है $L$ (या नीचे $-L$) और आप जानते हैं कि आप आबादी में भी "पर्याप्त" सांख्यिकीय संघ का दावा कर सकते हैं।

बेशक, बस एक आत्मविश्वास अंतराल जोड़ना और सार्थक परीक्षणों का उपयोग करना बहुत सारी समस्याओं को हल नहीं करेगा (जैसे कि खराब नमूनाकरण डिजाइन, कन्फ्यूजर्स का छोड़ा गया विचार आदि)। लेकिन यह मूल रूप से मुफ्त में है। मुझे लगता है कि SPSS भी उनकी गणना करने में सक्षम है!

Comments

वास्तव में, अगर SPSS कर सकता है ... अधिक गंभीर नोट पर, मुझे लगता है कि CI पर जोर देने का विचार बहुत मायने रखता है। यह मेटा-एनालिटिकल प्रयासों के साथ-साथ मदद करेगा। इसके अतिरिक्त, यह मुझे ऐसा लगता है जैसे पी मानों के बजाय CI की रिपोर्टिंग करना एक बेयसियन दृष्टिकोण का अक्सर अनुमान है। मैंने हमेशा सोचा है कि बायेसियन मॉडल एक "नमूना" से अधिक ईमानदार महसूस करते हैं कि वे एकल नमूने से प्राप्त जनसंख्या पैरामीटर के लिए अधिकतम संभावना अनुमान लगाने के बजाय अनुमानों के वितरण पर ध्यान केंद्रित करते हैं।

— मैट बैरस्टेड

Answer 2

जैसा कि माइकल एम नोट करते हैं , रिपोर्ट किए गए सहसंबंधों की विश्वसनीयता - या किसी अन्य अनुमान के अनुसार - आत्मविश्वास अंतराल का उपयोग करके मूल्यांकन किया जा सकता है। एक हद तक, वह है। यदि डेटा संग्रह के बाद मॉडल का चयन किया जाता है, तो CI बहुत संकीर्ण हो जाएगा, जिसका अनुमान मैं सामाजिक विज्ञानों में लगभग 95% समय पर लगाता हूं (जो कि मैं ईमानदारी से राज्य करूंगा, मेरा पूरा अनुमान है)।

उपाय दुगना है:

• हम बात कर रहे हैं "प्रतिकृति संकट "। इस प्रकार, असफल प्रतिकृति हमें सूचित करती है कि मूल प्रभाव शायद यादृच्छिक शोर था। हमें और अधिक प्रतिकृति करने (और निधि, और लिखना, और सबमिट करना, और स्वीकार करना) की आवश्यकता है। पुनरावृत्ति अध्ययन धीरे-धीरे सम्मान प्राप्त कर रहे हैं, और वह है। एक अच्छी चीज।

• दूसरा उपाय अवश्य है मेटा-विश्लेषण। अगर हमारे पास समान डेटा के कई कथित सहसंबंध हैं, भले ही उनमें से हर एक में कम हो$n$, तो हम जानकारी को पूल कर सकते हैं और कुछ सीख सकते हैं। आदर्श रूप में, हम भी पता लगाने में सक्षम होंगेप्रकाशन पूर्वाग्रह कार्रवाई में।

Comments

@ स्टेपेन, प्रश्न: "प्रतिकृति" का क्या अर्थ है, मूल अध्ययन को दोहराने के लिए शूल एक ही डेटा या विभिन्न डेटा का उपयोग करता है? क्या प्रतिकृति और पुनरावृत्ति के बीच अंतर है?

— फोरकास्टर

आपके पहले बिंदु के अनुसार, मुझे लगता है कि पिछले कुछ वर्षों ने प्रतिकृतियों के मोर्चे पर वास्तविक हलचल देखी है। एक आगामी अध्याय मुझे लगता है कि व्यवहार विज्ञान में उपक्षेत्रों के एक नंबर करने के लिए अच्छी तरह से तब्दील भावना शोधकर्ताओं के लिए कुछ सलाह प्रदान करता है।

— मैट बैरस्टेड

@forecaster: एक प्रतिकृति स्वतंत्र रूप से एकत्र किए गए नए डेटा के साथ की जानी चाहिए, अन्यथा आप कुछ भी नया नहीं सीखेंगे । "दोहराव" एक शब्द नहीं है जो मैं भर आया हूं। बेशक, वहाँ हमेशा के बारे में मूल प्रकाशन काफी विस्तृत है कि क्या इतना किसी और सवाल यह है कि कर सकते हैं वास्तव में विश्लेषण दोहराएँ।

— Stephan Kolassa