एक अध्ययन के लिए अति-संचालित होने का क्या मतलब है?

Question

एक अध्ययन के लिए अति-संचालित होने का क्या मतलब है?

मेरी धारणा यह है कि इसका मतलब है कि आपके नमूने के आकार इतने बड़े हैं कि आपके पास ऋणात्मक प्रभाव आकारों का पता लगाने की शक्ति है। ये प्रभाव आकार शायद इतने छोटे होते हैं कि वे चर के बीच नमूना प्रक्रिया में मामूली गैसों से उत्पन्न होने की अधिक संभावना रखते हैं (जरूरी नहीं कि प्रत्यक्ष) कारण कनेक्शन।

क्या यह सही अंतर्ज्ञान है? यदि ऐसा है, तो मैं यह नहीं देखता कि बड़ा सौदा क्या है, जब तक कि परिणाम उस प्रकाश में व्याख्या नहीं किए जाते हैं और आप मैन्युअल रूप से जांचते हैं और देखते हैं कि अनुमानित प्रभाव का आकार "सार्थक" होने के लिए पर्याप्त है या नहीं।

क्या मैं कुछ भूल रहा हूँ? क्या इस परिदृश्य में क्या करना है के लिए एक बेहतर सिफारिश है?

Comments

इस शब्द की मेरी सहज समझ जैसा लगता है।

— हेनरिक

Answer 1

मुझे लगता है कि आपकी व्याख्या गलत है।

आप कहते हैं कि "ये प्रभाव आकार शायद इतने छोटे होते हैं कि नमूने प्रक्रिया में मामूली गैसों से अधिक संभावित परिणाम होते हैं (जरूरी नहीं कि प्रत्यक्ष) चर के बीच कारण संबंध" जो कि 'अति-संचालित' में पी मान को लगता है अध्ययन एक 'ठीक से' संचालित अध्ययन से पी मूल्य के समान चीज नहीं है। यह गलत है। दोनों ही मामलों में, पी वैल्यू उन लोगों के रूप में डेटा प्राप्त करने की संभावना है जो अवलोकन किए गए हैं, या अधिक चरम हैं, यदि शून्य परिकल्पना सच है।

यदि आप नेमन-पियर्सन दृष्टिकोण को पसंद करते हैं, तो 'अति-संचालित' अध्ययन से प्राप्त झूठी सकारात्मक त्रुटियों की दर एक 'ठीक से' संचालित अध्ययन के समान है यदि दोनों के लिए समान अल्फा मान का उपयोग किया जाता है।

जिस व्याख्या की जरूरत है, वह अंतर यह है कि सांख्यिकीय महत्व और अधिक संचालित अध्ययनों के लिए वैज्ञानिक महत्व के बीच एक अलग संबंध है। वास्तव में, अति-संचालित अध्ययन प्रभाव प्राप्त करने की एक बड़ी संभावना देगा, भले ही प्रभाव, जैसा कि आप कहते हैं, लघुवचन, और इसलिए संदिग्ध महत्व।

जब तक एक 'ओवर-पावर्ड' अध्ययन के परिणामों को उचित रूप से व्याख्या किया जाता है (और प्रभाव आकार के लिए आत्मविश्वास अंतराल इस तरह की व्याख्या में मदद करता है) 'ओवर-पावर्ड' अध्ययन के साथ कोई सांख्यिकीय समस्या नहीं है। उस प्रकाश में, एकमात्र मापदंड जिसके द्वारा एक अध्ययन वास्तव में अति-संचालित हो सकता है, अन्य उत्तरों में उठाए गए नैतिक और संसाधन आवंटन मुद्दे हैं।

Comments

धन्यवाद, यह बहुत जानकारीपूर्ण है। मैं समझता हूं कि पी-वैल्यू की परिभाषा नहीं बदलती है। निश्चित रूप से एक सांख्यिकीय दृष्टिकोण से, टाइप I त्रुटियों की दर में वृद्धि नहीं होती है।

— फ्रैंक बैरी

परिभाषा के अनुसार, हम पी-मान थ्रेशोल्ड सेट करने में टाइप I त्रुटि दर को ठीक कर रहे हैं। हालांकि, ऐसा लगता है कि "सांख्यिकीय" और "व्यावहारिक" महत्व के बीच अंतर यहां मुद्दा है। जब नमूना आकार अपेक्षित प्रभाव आकार की तुलना में बहुत अधिक अंतर का पता लगाने में सक्षम होता है, तो एक अंतर जो सही ढंग से सांख्यिकीय रूप से भिन्न होता है, व्यावहारिक रूप से सार्थक नहीं है (और "अंत-उपयोगकर्ता" के दृष्टिकोण से यह प्रभावी रूप से "गलत सकारात्मक" है, भले ही यह एक सांख्यिकीय नहीं है)। हालाँकि, जैसा कि आप कहते हैं कि यह आंकड़ों के दायरे से बाहर होना शुरू होता है।

— फ्रैंक बैरी

यानी मुझे लगता है कि मैं सहमत हूं - "व्याख्या में अंतर जो जरूरी है, वह यह है कि सांख्यिकीय महत्व और वैज्ञानिक महत्व के बीच एक अलग संबंध है"

— फ्रैंक बैरी

Answer 2

चिकित्सा अनुसंधान में परीक्षण अनैतिक हो सकता है यदि वे बहुत से रोगियों को भर्ती करते हैं। उदाहरण के लिए यदि लक्ष्य यह तय करना है कि कौन सा उपचार बेहतर है, तो यह हीन होने के लिए स्थापित किए जाने के बाद खराब उपचार वाले रोगियों के इलाज के लिए नैतिक नहीं है। नमूना आकार में वृद्धि, निश्चित रूप से, आपको प्रभाव आकार का अधिक सटीक अनुमान देती है, लेकिन आपको "नमूना प्रक्रिया में मामूली गैसों" जैसे कारकों के प्रभाव से पहले अच्छी तरह से रोकना पड़ सकता है।

पर्याप्त रूप से पुष्टि किए गए शोध के सार्वजनिक धन को खर्च करना अनैतिक भी हो सकता है।

Answer 3

आपने जो कुछ भी कहा है वह समझ में आता है (हालांकि मुझे नहीं पता कि आप किस "बड़ी बात" का उल्लेख कर रहे हैं), और मैंने जासूसी की। सांख्यिकीय महत्व के विपरीत प्रभाव आकारों के बारे में अपनी बात की तरह। एक अन्य विचार यह है कि कुछ अध्ययनों में प्रत्येक मामले की भागीदारी प्राप्त करने के लिए दुर्लभ संसाधनों के आवंटन की आवश्यकता होती है, और इसलिए कोई भी इसे ज़्यादा नहीं करना चाहेगा।

Comments

क्षमा करें, "बड़ा सौदा" एक संपादकीय टिप्पणी का बहुत अधिक है। सवाल यह है कि क्या मैं इसे "बड़ा सौदा" बना रहा हूं, यह मूल रूप से एक सवाल है कि क्या अतिरिक्त विचार हैं, जिनसे मैं अनभिज्ञ हो सकता हूं।

— फ्रैंक बैरी

Answer 4

मेरा अनुभव ए / बी प्रयोगों से ऑनलाइन आता है, जहां इस मुद्दे पर आमतौर पर अध्ययन किया जाता है या गलत चीजों को मापा जाता है। लेकिन यह मुझे लगता है कि एक अधिक अध्ययन से तुलनात्मक अध्ययन, कम पी-मान और संभवतः भिन्न भिन्नता की तुलना में संकीर्ण आत्मविश्वास अंतराल पैदा होता है। मुझे लगता है कि यह समान अध्ययनों की तुलना करना कठिन बना सकता है। उदाहरण के लिए, यदि मैंने उचित शक्ति का उपयोग करते हुए एक अति-अध्ययन किया, तो मेरा पी-मूल्य अधिक होगा भले ही मैंने वास्तव में प्रभाव को दोहराया हो। बढ़ा हुआ नमूना आकार भी परिवर्तनशीलता को बाहर कर सकता है या परिवर्तनशीलता का परिचय दे सकता है यदि आउटलेर हैं जो बड़े नमूने में दिखाने की अधिक संभावना हो सकती है।

इसके अलावा, मेरे सिमुलेशन से पता चलता है कि जिन चीजों में आप रुचि रखते हैं उनके अलावा अन्य प्रभाव एक बड़े नमूने के साथ महत्वपूर्ण हो सकते हैं। इसलिए, जबकि पी-मूल्य सही रूप से आपको संभावना बताता है कि आपके परिणाम वास्तविक हैं, वे उन कारणों के अलावा वास्तविक हो सकते हैं जो आप सोचते हैं जैसे, मौका का एक संयोजन, कुछ क्षणिक प्रभाव जिसे आपने नियंत्रित नहीं किया, और शायद कुछ अन्य इसे साकार किए बिना छोटा प्रभाव। यदि अध्ययन केवल थोड़ा अधिक है, तो इसका जोखिम कम है। समस्या अक्सर पर्याप्त शक्ति को जानने के लिए कठिन होती है, उदाहरण के लिए, यदि बेसलाइन मेट्रिक्स और न्यूनतम लक्ष्य प्रभाव अनुमान से अधिक हो या अपेक्षा से भिन्न हो।

मेरे पास एक ऐसा लेख भी आया है जिसमें तर्क दिया गया है कि बहुत बड़े नमूने एक अच्छाई-से-फिट परीक्षण को असंगत विचलनों के प्रति संवेदनशील बना सकते हैं, जिससे संभावित रूप से प्रति-सहज परिणाम प्राप्त हो सकते हैं।

उस ने कहा, मेरा मानना ​​है कि कम बिजली के बजाय उच्च के पक्ष में सबसे अच्छा है।