एक प्राथमिक शक्ति विश्लेषण अनिवार्य रूप से बेकार है?

Question

मैंने पिछले हफ्ते सोसाइटी फॉर पर्सनेलिटी एंड सोशल साइकोलॉजी की एक बैठक में भाग लिया था जहाँ मैंने उरी सिमोनसोहन द्वारा इस बात को इस आधार के साथ देखा कि नमूना आकार निर्धारित करने के लिए एक प्राथमिक शक्ति विश्लेषण का उपयोग करना अनिवार्य रूप से बेकार था क्योंकि इसके परिणाम मान्यताओं के प्रति इतने संवेदनशील हैं।

बेशक, यह दावा मेरे तरीकों के वर्ग में मुझे सिखाया गया था और कई प्रमुख कार्यप्रणालियों (सबसे विशेष रूप से कोहेन, 1992 ) की सिफारिशों के खिलाफ जाता है , इसलिए उरी ने अपने दावे पर असर डालते हुए कुछ सबूत पेश किए। मैंने नीचे इस साक्ष्य को फिर से बनाने का प्रयास किया है।

सादगी के लिए, आइए एक ऐसी स्थिति की कल्पना करें जहां आपके पास टिप्पणियों के दो समूह हैं और अनुमान लगाते हैं कि प्रभाव का आकार (जैसा कि मानकीकृत माध्य अंतर से मापा जाता है) है । एक मानक शक्ति गणना ( नीचे पैकेज का उपयोग करने में किया गया ) आपको बताएगा कि इस डिजाइन के साथ 80% बिजली प्राप्त करने के लिए आपको टिप्पणियों की आवश्यकता होगी ।$.5$Rpwr$128$

require(pwr)

size <- .5
# Note that the output from this function tells you the required observations per group
# rather than the total observations required
pwr.t.test(d = size, 
           sig.level = .05, 
           power = .80, 
           type = "two.sample", 
           alternative = "two.sided")

आमतौर पर, हालांकि, प्रभाव के प्रत्याशित आकार के बारे में हमारा अनुमान है (कम से कम सामाजिक विज्ञानों में, जो कि मेरे अध्ययन का क्षेत्र है) बस इतना - बहुत मोटा अनुमान। तब क्या होता है जब प्रभाव के आकार के बारे में हमारा अनुमान थोड़ा हट जाता है? एक त्वरित शक्ति गणना आपको बताती है कि यदि प्रभाव का आकार बजाय , तो आपको टिप्पणियों की आवश्यकता होती है - गुणा संख्या जिसके लिए आपको प्रभाव आकार के लिए पर्याप्त शक्ति की आवश्यकता होगी । इसी तरह, यदि प्रभाव का आकार , तो आपको केवल प्रभाव आकार का पता लगाने के लिए पर्याप्त शक्ति होने के लिए आपको टिप्पणियों, 70% की आवश्यकता होगी।.5 200 1.56 .5 .6 90 .50 90 $.4$$.5$$200$$1.56$$.5$$.6$$90$$.50$। व्यावहारिक रूप से, अनुमानित टिप्पणियों में सीमा काफी बड़ी है - से ।$90$$200$

इस समस्या के बारे में एक प्रतिक्रिया यह है कि एक शुद्ध अनुमान लगाने के बजाय कि प्रभाव का आकार क्या हो सकता है, आप प्रभाव के आकार के बारे में सबूत इकट्ठा करते हैं, या तो पिछले साहित्य के माध्यम से या पायलट परीक्षण के माध्यम से। बेशक, यदि आप पायलट परीक्षण कर रहे हैं, तो आप चाहते हैं कि आपका पायलट परीक्षण पर्याप्त रूप से छोटा हो, ताकि आप केवल अध्ययन को चलाने के लिए आवश्यक नमूना आकार निर्धारित करने के लिए अपने अध्ययन का एक संस्करण नहीं चला रहे हैं (यानी, आप पायलट परीक्षण में उपयोग किए गए नमूना आकार को आपके अध्ययन के नमूना आकार से छोटा होना चाहिए)।

उरी सिमोनसोहन ने तर्क दिया कि आपके शक्ति विश्लेषण में प्रयुक्त प्रभाव आकार का निर्धारण करने के उद्देश्य से पायलट परीक्षण बेकार है। निम्नलिखित सिमुलेशन पर विचार करें कि मैं किस भाग में था R। यह अनुकरण मानता है कि जनसंख्या प्रभाव का आकार है । फिर यह आकार 40 के "पायलट परीक्षण" करता है और 10000 पायलट परीक्षणों में से प्रत्येक से अनुशंसित को सारणीबद्ध करता है ।1000 $.5$$1000$$N$

set.seed(12415)

reps <- 1000
pop_size <- .5
pilot_n_per_group <- 20
ns <- numeric(length = reps)

for(i in 1:reps)
{
  x <- rep(c(-.5, .5), pilot_n_per_group)
  y <- pop_size * x + rnorm(pilot_n_per_group * 2, sd = 1)
  # Calculate the standardized mean difference
  size <- (mean(y[x == -.5]) - mean(y[x == .5])) / 
          sqrt((sd(y[x == -.5])^2 + sd(y[x ==.5])^2) / 2)

  n <- 2 * pwr.t.test(d = size,
                      sig.level = .05, 
                      power = .80,
                      type = "two.sample", 
                      alternative = "two.sided")$n

  ns[i] <- n
}

नीचे इस सिमुलेशन के आधार पर एक घनत्व साजिश है। मैंने पायलट परीक्षणों को छोड़ दिया है, जिसने छवि को अधिक व्याख्यात्मक बनाने के लिए से ऊपर की संख्या में टिप्पणियों की सिफारिश की है। यहां तक ​​कि सिमुलेशन के कम चरम परिणामों पर ध्यान केंद्रित करते हुए, पायलट परीक्षणों द्वारा अनुशंसित में भारी भिन्नता है ।500 एन एस $204$$500$$Ns$$1000$

बेशक, मुझे यकीन है कि मान्यताओं की समस्या के प्रति संवेदनशीलता खराब हो जाती है क्योंकि किसी का डिजाइन अधिक जटिल हो जाता है। उदाहरण के लिए, एक यादृच्छिक प्रभाव संरचना के विनिर्देश की आवश्यकता वाले डिजाइन में, यादृच्छिक प्रभाव संरचना की प्रकृति में डिजाइन की शक्ति के लिए नाटकीय निहितार्थ होंगे।

तो, आप सभी इस तर्क के बारे में क्या सोचते हैं? एक प्राथमिक शक्ति विश्लेषण अनिवार्य रूप से बेकार है? यदि यह है, तो शोधकर्ताओं को अपने अध्ययन के आकार की योजना कैसे बनाना चाहिए?

Comments

यह लगता है की निंदा की तरह नासमझ शक्ति विश्लेषण ही शक्ति विश्लेषण, की नहीं। इससे भी बड़ा सवाल यह है कि क्या यह किसी भूसे वाले पर हमला है या अगर वास्तव में ऐसे कई लोग हैं जो अपनी संवेदनशीलता के लिए अपनी संवेदनशीलता के बिना शक्ति विश्लेषण (या कोई अन्य विश्लेषण) करते हैं। यदि उत्तरार्द्ध सच है, तो उन्हें प्रबुद्ध करना अच्छा है, लेकिन मुझे आशा है कि वे अपने प्रयोगों की योजना बनाने के सभी प्रयासों को छोड़ने के लिए इतने निराश नहीं होंगे!

— whuber

मुझे बहुत सारे आंकड़े याद दिलाते हैं ।stackexchange.com / q / 2492 / 32036 , और शीर्षक प्रश्न को फिर से प्रकाशित करने में सिर्फ वाक्य रचना की समानता के कारण नहीं। धारणाओं को समझने के तरीके का एक प्रश्न लगता है। दोनों में एक प्रमुख बिंदु इन विश्लेषणों की समझ को पूर्वाग्रह बनाने के बजाय पूर्वाग्रह के रूप में समझा जाता है, सभी या कुछ भी निर्णय नहीं है कि उनकी धारणाएं (ए) बिल्कुल महत्वपूर्ण हैं या (बी) पूरी तरह से नगण्य हैं। यह सामान्य रूप से उपयोगी-और-हानिकारक नुकसान की कुंजी है। मुझे डर है कि यह कोई पुआल आदमी नहीं है; लोग निरपेक्षता में बहुत बार सोचते हैं जब वे नहीं जानते या परवाह नहीं करते हैं।

— निक स्टॉनर

मैं इस प्रश्न में इसे जोड़ना नहीं चाहता था क्योंकि मैं उन सिफारिशों में दिलचस्पी रखता था जो दूसरों ने बनाई थीं, लेकिन बात के अंत में उरी सिमोनसोहन की सिफारिश थी कि आप अपने सबसे छोटे प्रभाव का पता लगाने के लिए अपने अध्ययन को शक्ति दें, जिसकी आप परवाह करेंगे।

— पैट्रिक एस। फ़ॉश्चर

@ पैट्रिकएस.फोर्शर: तो आखिरकार कहा और किया जाता है, वह एक प्राथमिक शक्ति विश्लेषण में विश्वास करता है। वह सिर्फ यह सोचता है कि प्रभाव का आकार समझदारी से चुना जाना चाहिए: यह अनुमान नहीं है कि यह क्या हो सकता है, बल्कि इसके बजाय न्यूनतम मूल्य जिसकी आप परवाह करेंगे। पावर विश्लेषण के पाठ्यपुस्तक विवरण की तरह बहुत अधिक लगता है: सुनिश्चित करें कि आपके पास पर्याप्त डेटा है कि आप जो मानते हैं कि व्यावहारिक रूप से महत्वपूर्ण अंतर सांख्यिकीय रूप से महत्वपूर्ण अंतर के रूप में दिखाई देगा।

— वेन

उरी ने जिस तरह से बात को फ्रेम किया, मुझे लगता है कि उनका मानना ​​है कि एक प्राथमिक शक्ति विश्लेषण बेकार है क्योंकि यह आमतौर पर सामाजिक विज्ञानों में किया जाता है, लेकिन शायद ऐसा नहीं है जैसा कि कहीं और सिखाया जाता है। वास्तव में, मुझे अपने शक्ति विश्लेषण को उस प्रभाव के आकार के बारे में एक उचित अनुमान पर आधारित करने के लिए सिखाया गया था जो मैं देख रहा हूं, न कि इस बात पर कि मैं व्यावहारिक रूप से किस प्रभाव की परवाह करूंगा।

— पैट्रिक एस। फ़ॉश्चर

Answer 1

यहां मूल मुद्दा सही है और आंकड़ों में काफी हद तक जाना जाता है। हालाँकि, उसकी व्याख्या / दावा चरम है। कई मुद्दों पर चर्चा की जानी है:

$N$$\sqrt N$$N$$50\%$$80\%$$d$$d$$d = .5$$N = 128$$\approx 7.9\%$$\approx 5.5\%$$.1$$\approx 16.9\%$$.1$$\approx 12.6\%$

$d$

$80\%$

दूसरा, व्यापक दावे के बारे में कि शक्ति विश्लेषण (एक-प्राथमिकता या अन्यथा) मान्यताओं पर भरोसा करते हैं, यह स्पष्ट नहीं है कि उस तर्क का क्या करना है। बेशक वे करते हैं। तो बाकी सब करता है। एक शक्ति विश्लेषण नहीं चल रहा है, लेकिन सिर्फ एक टोपी से बाहर निकाले गए नंबर के आधार पर डेटा की मात्रा को इकट्ठा करना, और फिर अपने डेटा का विश्लेषण करने से स्थिति में सुधार नहीं होगा। इसके अलावा, आपके परिणामी विश्लेषण अभी भी मान्यताओं पर भरोसा करेंगे, जैसे सभी विश्लेषण (शक्ति या अन्यथा) हमेशा करते हैं। यदि इसके बजाय आप यह निर्णय लेते हैं कि आप डेटा एकत्र करना जारी रखेंगे और जब तक आपको अपनी पसंद की कोई तस्वीर नहीं मिलती है, तब तक उनका पुन: विश्लेषण करेंगे या थकेंगे, तो यह बहुत कम मान्य होगा (और अभी भी मान्यताओं को शामिल करेगा जो स्पीकर के लिए अदृश्य हो सकते हैं, लेकिन फिर भी मौजूद है)। सीधे शब्दों में कहें,इस तथ्य के आसपास कोई रास्ता नहीं है कि अनुसंधान और डेटा विश्लेषण में धारणाएं बनाई जा रही हैं ।

आपको ब्याज के ये संसाधन मिल सकते हैं:

• क्रैमर, एचसी, मिन्टज़, जे।, नोदा, ए।, टिंकलेनबर्ग, जे।, एंड येजेज, जेए (2006)। अध्ययन प्रस्तावों के लिए शक्ति गणना का मार्गदर्शन करने के लिए पायलट अध्ययन के उपयोग के संबंध में सावधानी , सामान्य मनोरोग के अभिलेखागार, 63 , 5, पीपी 484-489।

• Uebersax, JA (2007)। बायेसियन अनकंडीशनल पॉवर एनालिसिस। http://www.john-uebersax.com/stat/bpower.htm

Comments

मुझे लगता है कि उरी सिमोनसोहन का तर्क यह नहीं था कि प्रति अनुमान गलत हैं, लेकिन सामान्य रूप से शक्ति विश्लेषण मान्यताओं के प्रति इतने संवेदनशील हैं कि उन्हें नमूना आकार की योजना बनाने के लिए बेकार कर दिया जाए। हालाँकि, आपके अंक उत्कृष्ट हैं, जैसा कि आपने (+1) प्रदान किए गए संदर्भ हैं।

— पैट्रिक एस। फ़ॉश्चर

आपके संपादन इस पहले से ही उत्कृष्ट उत्तर को बेहतर बनाते हैं। :)

— पैट्रिक एस। फ़ॉर्चर

मैं मानता हूं कि यह एक महान उत्तर है, और मैं आपको (और अन्य) यह बताना चाहता हूं कि मैंने आपको हाल ही में ब्लॉग पोस्ट में उद्धृत किया था जो मैंने इस विषय पर लिखा था: jakewestfall.org/blog/index.php/2015/06/ 16 /…

— जेक वेस्टफॉल

@JakeWestfall, अच्छी पोस्ट! एक अलग नोट पर, जब आप कुकीज़ का अध्ययन करते हैं, तो क्या आप उन्हें खाकर मुख्य रूप से ऐसा करते हैं? क्या आपको इनमें से किसी भी परियोजना पर एक सांख्यिकीय सलाहकार की आवश्यकता है?

— गंग - मोनिका