कमिंग (2008) का दावा है कि प्रतिकृति में प्राप्त पी-वैल्यू का वितरण केवल मूल पी-मूल्य पर निर्भर करता है। यह कैसे सच हो सकता है?

52

मैं जियोफ़ कमिंग के 2008 के पेपर प्रतिकृति और अंतरालों $p$ $p$ को पढ़ रहा हूं : मान भविष्य की केवल अस्पष्ट भविष्यवाणी करते हैं, लेकिन विश्वास अंतराल बहुत बेहतर करते हैं [Google विद्वान में 200 उद्धरण] - और इसके केंद्रीय दावों में से एक से भ्रमित हूं। यह कागजात की श्रृंखला में से एक है जहां कमिंग अंतराल के खिलाफ और विश्वास अंतराल के पक्ष में तर्क देता है ; मेरा प्रश्न, हालांकि, इस बहस के बारे में नहीं है और केवल -values के बारे में एक विशिष्ट दावे की चिंता करता है । $p$ $p$

मुझे सार से उद्धृत करते हैं:

इस लेख से पता चलता दो-पुच्छीय में एक प्रारंभिक प्रयोग के परिणामों को अगर है कि, , वहाँ एक है मौका एक पूंछ एक प्रतिकृति से -value अंतराल में गिर जाएगी , एक संभावना है कि , और पूरी तरह से संभावना है कि । उल्लेखनीय रूप से, अंतराल- जिसे अंतराल कहा जाता है- यह व्यापक है लेकिन नमूना आकार में बड़ा है। $p= .05$ $80\%$ $p$ $(.00008, .44)$ $10\%$ $p < .00008$ $10\%$ $p > .44$ $p$

कमिंग का दावा है कि यह " अंतराल" है, और वास्तव में मूल-प्रयोग की नकल करते समय प्राप्त होने वाले वैल्यू का पूरा वितरण (एक ही निश्चित नमूना आकार के साथ), केवल मूल अंतराल पर निर्भर करता है और सही प्रभाव आकार, शक्ति, नमूना आकार, या कुछ और पर निर्भर नहीं करते हैं: $p$ $p$ $p$ $p_\mathrm{obt}$

[...] की संभावना वितरण जानने या के लिए एक मूल्य संभालने के बिना प्राप्त किया जा सकता (या शक्ति)। [...] हम किसी भी पूर्व ज्ञान के बारे में अनुमान नहीं , और हम केवल सूचना का उपयोग करते हैं [मनाया गया-समूह अंतर] किसी दिए गए लिए गणना के आधार के बारे में देता है और अंतराल के वितरण के । $p$ $\delta$ $\delta$ $M_\mathrm{diff}$ $\delta$ $p_\mathrm{obt}$ $p$ $p$

$\quad\quad\quad$

मैं इस वजह से उलझन में हूँ क्योंकि ऐसा लगता है कि -values का वितरण दृढ़ता से शक्ति पर निर्भर करता है, जबकि मूल अपने आप में इसके बारे में कोई जानकारी नहीं देता है। यह हो सकता है कि असली प्रभाव का आकार और फिर वितरण समान है; या हो सकता है सही प्रभाव आकार बहुत बड़ा है और फिर हम ज्यादातर बहुत छोटे की उम्मीद करनी चाहिए -values। बेशक कोई भी संभावित प्रभाव आकारों पर कुछ पूर्व ग्रहण करने और उस पर एकीकृत करने के साथ शुरू कर सकता है, लेकिन कमिंग दावा करता है कि यह वह नहीं है जो वह कर रहा है। $p$ $p_\mathrm{obt}$ $\delta=0$ $p$

प्रश्न: वास्तव में यहाँ क्या चल रहा है?

ध्यान दें कि यह विषय इस प्रश्न से संबंधित है: दोहराए गए प्रयोगों के किस अंश का पहले प्रयोग के 95% विश्वास अंतराल के भीतर एक प्रभाव आकार होगा? @whuber द्वारा एक उत्कृष्ट जवाब के साथ। कमिंग के पास इस विषय पर एक पेपर है: कमिंग एंड माइलार्डेट, 2006, कॉन्फिडेंस इंटरवल और प्रतिकृति: अगला साधन कहां होगा? - लेकिन यह एक स्पष्ट और अप्रमाणिक है।

मैं यह भी ध्यान देता हूं कि 2015 के नेचर मेथड्स पेपर में कमिंग के दावे को कई बार दोहराया गया है । चंचल मान इर्रप्रोड्यूसिएबल परिणाम उत्पन्न करता है $P$ जो आप में से कुछ के पास आए होंगे (यह पहले से ही Google विद्वान में ~ 100 उद्धरण हैं):

[...] दोहराया प्रयोगों के मूल्य में पर्याप्त भिन्नता होगी । वास्तविकता में, प्रयोगों को शायद ही दोहराया जाता है; हमें नहीं पता कि अगला कितना अलग हो सकता है। लेकिन यह संभावना है कि यह बहुत अलग हो सकता है। उदाहरण के लिए, किसी प्रयोग की सांख्यिकीय शक्ति की परवाह किए बिना, यदि कोई एकल प्रति का मान लौटाता है , तो एक संभावना है कि एक दोहराव प्रयोग और बीच मान लौटाएगा (और परिवर्तन [sic] वह भी बड़ा होगा)। $P$ $P$ $P$ $0.05$ $80\%$ $P$ $0$ $0.44$ $20\%$ $P$

(ध्यान दें, वैसे, भले ही कमिंग का कथन सही हो या न हो, नेचर मेथड्स पेपर इसे गलत तरीके से उद्धृत करता है: कमिंग के अनुसार, यह ऊपर केवल संभावना है । और हाँ, पेपर कहता है "20% चान।" g e "। Pfff।) $10\%$ $0.44$

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

8

इस तरह के किसी भी प्रकार के दावे को प्रकृति की एक मान्य स्थिति पर सशर्त नहीं होना चाहिए - और क्या यह डिफ़ॉल्ट रूप से शून्य परिकल्पना नहीं होगी? के लिए सरल रिक्त परिकल्पना और एक लगातार वितरित आँकड़ों, पी-मूल्य एक समान वितरण है। उस तथ्य से सब कुछ बहता है।

— व्हिबर

4

@ शुभचिंतक, चित्र 5 में दिखाया गया वितरण जो मैंने यहां पुन: प्रस्तुत किया है, स्पष्ट रूप से एक समान नहीं है। हालांकि मैं मानता हूं कि इस तरह के किसी भी वितरण, यह प्रतीत होता है, प्रकृति की स्थिति पर सशर्त होना चाहिए, लेकिन कमिंग इसके विपरीत का दावा करते हैं। इसलिए मेरा प्रश्न: वास्तव में इस पत्र में क्या हो रहा है? क्या मैं दावे को गलत समझ रहा हूं? क्या कागज केवल गलत है? क्या हम कुछ छिपी हुई धारणाओं का पता लगा सकते हैं? आदि

— अमीबा का कहना है कि मोनिका

खुद के लिए ध्यान दें: यह arxiv.org/abs/1609.01664 स्पष्ट रूप से संबंधित है, लेकिन एक त्वरित नज़र ने मेरी पहेली को हल नहीं किया।

— अमीबा का कहना है कि मोनिका

1

काश मैं इस हफ्ते फाइनल नहीं दे रहा होता या मैं इस पर कुछ समय बिताता। इसका यह मतलब नहीं है कि बाद के पी-मूल्य को शक्ति पर निर्भर होना चाहिए, बशर्ते दोनों नमूनों का आकार समान हो। मनाया गया पी-मान केवल एक पैरामीटर के सही मूल्य और आपकी पसंद के आधार पर निर्भर होना चाहिए। अनुमान की उपयोगिता शक्ति पर निर्भर करती है, लेकिन यह यहाँ एक प्रश्न नहीं है।

— डेव हैरिस

3

मैं यहां अपनी लीग से बाहर हूं ... लेकिन कागज को छोड़ दें, तो ऐसा लगता है कि सब कुछ एक ही ज्ञात विचरण और नमूना आकार के साथ दो गॉसियन आबादी के साधनों में महत्वपूर्ण अंतर के लिए परीक्षण के संदर्भ में है, 0 के एक अशक्त के साथ। । क्या ये सही है? (अर्थात जहाँ null के तहत।) या क्या कागज में व्यापक गुंजाइश है, जैसे कि। सवाल / टिप्पणी यहाँ इंगित करने के लिए लग रहे हो?

z = \frac{Δ \bar{x}}{σ} \sqrt{\frac{N}{2}} \sim N_{⟨ z ⟩, 1}

$z=\frac{\Delta\bar{x}}{\sigma}\sqrt{\frac{N}{2}}\sim\mathrm{N}_{\langle{z}\rangle,1}$

⟨ z ⟩ = \frac{Δ μ}{σ} \sqrt{\frac{N}{2}} = 0

$\langle{z}\rangle=\frac{\Delta\mu}{\sigma}\sqrt{\frac{N}{2}}=0$

— जियोमैट 22

21

सारांश: चाल एक बायेसियन दृष्टिकोण है जो एक समान (मान लिया गया प्रतीत होता है जेफ्रेय्स ) छिपा पैरामीटर के लिए पहले ( कागज के परिशिष्ट बी, में यहाँ)। $z_\mu$ $\theta$

मेरा मानना है कि पेपर के परिशिष्ट बी में दिए गए समीकरणों को प्राप्त करने के लिए बायेसियन शैली का दृष्टिकोण हो सकता है।

जैसा कि मैं इसे समझता हूं, प्रयोग एक सांख्यिकीय । नमूना वितरण का माध्य अज्ञात है, लेकिन अशक्त परिकल्पना के तहत गायब हो जाता है, । $z\sim\mathrm{N}_{\theta,1}$ $\theta$ $\theta\mid{}H_0=0$

प्रायोगिक रूप से देखे गए सांख्यिकीय कॉल करें । फिर अगर हम " से पहले एक "वर्दी" ( अनुचित ) मान , तो बायेसियन पोस्टीरियर । अगर हम को हाशिए पर करके मूल नमूना वितरण को अपडेट करते हैं , तो पीछे । (गाऊसियन के दोषी होने के कारण दोगुना विचरण होता है।) $\hat{z}\mid\theta\sim\mathrm{N}_{\theta,1}$ $\theta\sim1$ $\theta\mid\hat{z}\sim\mathrm{N}_{\hat{z},1}$ $\theta\mid\hat{z}$ $z\mid\hat{z}\sim\mathrm{N}_{\hat{z},2}$

गणितीय रूप से कम से कम, यह काम करने लगता है। और यह बताता है कि कैसे " कारक" जादुई "समीकरण B2 से समीकरण 3 में जा रहा है। $\frac{1}{\sqrt{2}}$

विचार-विमर्श

इस परिणाम को मानक अशक्त परिकल्पना परीक्षण ढांचे के साथ कैसे समेटा जा सकता है? एक संभावित व्याख्या इस प्रकार है।

मानक ढांचे में, शून्य परिकल्पना कुछ अर्थों में "डिफ़ॉल्ट" है (जैसे हम "अशक्त अस्वीकार करने" की बात करते हैं)। उपरोक्त बेइज़ियन संदर्भ में यह एक गैर-वर्दी से पहले होगा जो कि को प्राथमिकता देता है । यदि हम इसे होने के लिए लेते हैं , तो variance हमारी पूर्व अनिश्चितता का प्रतिनिधित्व करता है। $\theta=0$ $\theta\sim\mathrm{N}_{0,\lambda^2}$ $\lambda^2$

उपरोक्त विश्लेषण के माध्यम से इसे आगे ले जाने पर, हम the से हम देख सकते हैं कि सीमा में हम ऊपर के विश्लेषण को पुनर्प्राप्त करते हैं। लेकिन की सीमा हमारे "डाकिया" शून्य हो जाते हैं, और , इसलिए हम मानक परिणाम, पुनर्प्राप्त करते हैं ।

θ \sim N_{0, λ^{2}} ⟹ θ ∣ \hat{z} \sim N_{δ^{2} \hat{z}, δ^{2}}, z ∣ \hat{z} \sim N_{δ^{2} \hat{z}, 1 + δ^{2}}, δ^{2} \equiv \frac{1}{1 + λ^{- 2}} \in [0, 1]

$\theta\sim\mathrm{N}_{0,\lambda^2} \implies \theta\mid\hat{z}\sim\mathrm{N}_{\delta^2\hat{z},\delta^2} \,,\, z\mid\hat{z}\sim\mathrm{N}_{\delta^2\hat{z},1+\delta^2} \,,\, \delta^2\equiv\tfrac{1}{1+\lambda^{-2}}\in[0,1]$

λ \to \infty

$\lambda\to\infty$

λ \to 0

$\lambda\to{0}$

θ ∣ \hat{z} \sim N_{0, 0}

$\theta\mid\hat{z}\sim\mathrm{N}_{0,0}$

z ∣ \hat{z} \sim N_{0, 1}

$z\mid\hat{z}\sim\mathrm{N}_{0,1}$

p ∣ \hat{z} \sim U_{0, 1}

${p}\mid{\hat{z}}\sim\mathrm{U}_{0,1}$

(बार-बार अध्ययन के लिए, उपरोक्त बेयसियन अद्यतन के लिए निहितार्थ के बारे में एक दिलचस्प सवाल यहाँ सुझाता है । आईए-विश्लेषण के लिए "पारंपरिक" तरीके। मैं मेटा-विश्लेषण के विषय पर पूरी तरह से अनभिज्ञ हूं, हालांकि!)

अनुबंध

जैसा कि टिप्पणियों में अनुरोध किया गया है, यहां तुलना के लिए एक साजिश है। यह कागज में सूत्रों का एक अपेक्षाकृत सीधा अनुप्रयोग है। हालाँकि, मैं यह सुनिश्चित करने के लिए लिखूंगा कि कोई अस्पष्टता न हो।

चलो आँकड़ों के लिए एक तरफा पी मान दर्शाने , और के द्वारा अपने (पोस्टीरियर) CDF निरूपित । फिर परिशिष्ट से समीकरण B3 बराबर है। जहां , मानक सामान्य CDF है। तत्संबंधित घनत्व तब जहां मानक सामान्य पीडीएफ है, और के रूप में सीडीएफ फॉर्मूला। अंत में, यदि हम मनाया गया द्वारा निरूपित करते हैं $p$ $z$ $F[u]\equiv\Pr\big[\,p\leq{u}\mid{\hat{z}}\,\big]$

F [p] = 1 - Φ [\frac{1}{\sqrt{2}} (z [p] - \hat{z})], z [p] = Φ^{- 1} [1 - p]

$F[p]=1-\Phi\left[\tfrac{1}{\sqrt{2}}\left(z[p]-\hat{z}\right)\right] \,,\, z[p]=\Phi^{-1}[1-p]$

Φ []

$\Phi[\,\,]$

f [p] \equiv F^{'} [p] = \frac{ϕ [(z - \hat{z}) / \sqrt{2}]}{\sqrt{2} ϕ [z]}

$f\big[p\big]\equiv{F^\prime}\big[p\big]=\frac{\phi\Big[(z-\hat{z})/\sqrt{2}\,\Big]}{\sqrt{2}\,\phi\big[z\big]}$

ϕ []

$\phi[\,\,]$

z = z [p]

$z=z[p]$

\hat{p}

$\hat{p}$ दो-तरफा पी मूल्य अनुरूप है , तो हमारे पास

\hat{z}

$\hat{z}$

\hat{z} = Φ^{- 1} [1 - \frac{\hat{p}}{2}]

$\hat{z}=\Phi^{-1}\Big[1-\tfrac{\hat{p}}{2}\Big]$

इन समीकरणों का उपयोग करने से नीचे का आंकड़ा मिलता है, जिसे प्रश्न में उद्धृत पेपर के आंकड़े 5 के बराबर होना चाहिए ।

(यह निम्नलिखित Matlab कोड द्वारा निर्मित किया गया था; यहाँ चलाएं ।)

phat2=[1e-3,1e-2,5e-2,0.2]'; zhat=norminv(1-phat2/2);
np=1e3+1; p1=(1:np)/(np+1); z=norminv(1-p1);
p1pdf=normpdf((z-zhat)/sqrt(2))./(sqrt(2)*normpdf(z));
plot(p1,p1pdf,'LineWidth',1); axis([0,1,0,6]);
xlabel('p'); ylabel('PDF p|p_{obs}');
legend(arrayfun(@(p)sprintf('p_{obs} = %g',p),phat2,'uni',0));

— GeoMatt22
स्रोत

1

मेरी आशा है कि अंतर्निहित धारणा (जैसे छिपे हुए पैरामीटर पर पहले समान) को उजागर करने से, चर्चा अब वैज्ञानिक / सांख्यिकीय प्रश्न पर ध्यान केंद्रित कर सकती है जो मुझे विश्वास है कि आपका लक्ष्य था! ( गणित / संभाव्यता प्रश्न के बजाय मैंने ऊपर उत्तर दिया।)

— जियोमैट 22

मुझे इस विषय की कुछ पुरानी और इतनी पुरानी चर्चा नहीं मिली: गुडमैन 1992 , सन् 2002 द्वारा गुडमैन पर एक टिप्पणी और हाल ही में लेज़रोनी एट अल 2014 । पिछले एक बल्कि अनैच्छिक लगता है (लेकिन मैं इसे पूर्णता के लिए उल्लेख करता हूं) लेकिन पहले दो, विशेष रूप से सन्नी की टिप्पणी, बहुत प्रासंगिक है।

— अमीबा का कहना है कि मोनिका

अमीबा इन संदर्भों को खोदने के लिए धन्यवाद, वे दिलचस्प लग रहे हैं! पूर्णता के लिए, मैंने कमिंग परिणाम और मानक ढांचे को जोड़ने की कोशिश कर एक "चर्चा" खंड जोड़ा।

— जियोमैट 22

अद्यतन: मैंने गुडमैन और ऊपर लिखे गए पेपर पढ़े हैं और अब अपने वर्तमान अंतर्ज्ञान को संक्षेप में प्रस्तुत करने के लिए अपना उत्तर पोस्ट किया है। (वैसे, मैं आपके जवाब को स्वीकार करने और इसे पुरस्कार देने के लिए खुश था। फिर से धन्यवाद।)

— अमीबा का कहना है कि मोनिका

27

सभी दिलचस्प चर्चाओं के लिए धन्यवाद! 2008 के उस लेख को लिखते समय, मुझे खुद को समझाने में कुछ समय लगा कि प्रतिकृति p का वितरण ( एक अध्ययन के सटीक प्रतिकृति द्वारा दिया गया p मान, एक अध्ययन जो वास्तव में एक ही है, लेकिन एक नए नमूने के साथ निर्भर है) केवल मूल अध्ययन द्वारा दिए गए पी पर । (कागज में मैं एक सामान्य रूप से वितरित जनसंख्या और यादृच्छिक नमूना ग्रहण करता हूं, और यह कि हमारे अध्ययन का उद्देश्य जनसंख्या के माध्य का अनुमान लगाना है।) इसलिए p अंतराल (प्रतिकृति p के लिए 80% पूर्वानुमान अंतराल ) समान है, जो भी N , शक्ति, या मूल अध्ययन का सही प्रभाव आकार।

यकीन है, यह पहली बार अविश्वसनीय है। लेकिन ध्यान से देखें कि मेरा मूल कथन मूल अध्ययन से p जानने पर आधारित है । इस पर इस तरीके से विचार करें। मान लीजिए कि आप मुझे बताते हैं कि आपके मूल अध्ययन में p = .05 पाया गया है । आप मुझे अध्ययन के बारे में और कुछ नहीं बताएं। मुझे पता है कि आपके नमूने पर 95% सीआई बिल्कुल शून्य तक फैली हुई है ( पी शून्य की एक शून्य परिकल्पना के लिए गणना की गई थी)। तो आपका नमूना मतलब MoE (उस 95% CI की एक भुजा की लंबाई) है, क्योंकि यह शून्य से दूरी है। आपके जैसे अध्ययन से साधनों का नमूना वितरण मानक विचलन MoE / 1.96 है। वह मानक त्रुटि है।

एक सटीक प्रतिकृति द्वारा दिए गए अर्थ पर विचार करें। उस प्रतिकृति माध्य के वितरण का अर्थ है MoE, अर्थात यह वितरण आपके मूल नमूना माध्य पर केंद्रित है। अपने नमूना माध्य और प्रतिकृति माध्य के बीच के अंतर पर विचार करें। इसमें आपके मूल अध्ययन और प्रतिकृति जैसे अध्ययन के माध्य के भिन्न रूप के योग के बराबर भिन्नता है। यह आपके मूल अध्ययन यानी 2 x SE ^ 2 की तरह अध्ययनों का भिन्न रूप है। जो 2 x (MoE / 1.96) ^ 2 है। तो उस अंतर का SD SQRT (2) x MoE / 1.96 है।

इसलिए हम प्रतिकृति के वितरण का मतलब जानते हैं: इसका मतलब MoE है और यह SD SQRT (2) x MoE / 1.96 है। निश्चित रूप से, क्षैतिज पैमाने मनमाना है, लेकिन हमें केवल आपके मूल अध्ययन से सीआई के संबंध में इस वितरण को जानना होगा। जैसा कि प्रतिकृति चलाए जाते हैं, अधिकांश साधन (लगभग 83%) उस मूल 95% सीआई में गिर जाएंगे, और लगभग 8% उसके नीचे गिर जाएंगे (यानी शून्य से नीचे, यदि आपका मूल मतलब> 0 था) और उससे 8% अधिक है सीआई। यदि हम जानते हैं कि आपके मूल CI के संबंध में एक प्रतिकृति का मतलब कहां है, तो हम इसके p मान की गणना कर सकते हैं । हम जानते हैं कि ऐसे प्रतिकृति साधनों का वितरण आपके CI के संबंध में है, इसलिए हम प्रतिकृति p के वितरण का पता लगा सकते हैंमूल्य। प्रतिकृति के बारे में हम जो एकमात्र धारणा बना रहे हैं वह यह है कि यह सटीक है, अर्थात यह उसी जनसंख्या से आई है, जिसका प्रभाव आपके मूल अध्ययन के समान है, और यह N (और प्रयोगात्मक डिजाइन) आपके अध्ययन के समान ही था। ।

उपरोक्त सभी लेख में बिना चित्रों के तर्क का एक पुनर्स्थापन है।

फिर भी अनौपचारिक रूप से, यह सोचना उपयोगी हो सकता है कि मूल अध्ययन में p = .05 क्या है। इसका मतलब यह हो सकता है कि आपके पास एक छोटे प्रभाव आकार के साथ एक विशाल अध्ययन है, या एक विशाल प्रभाव आकार के साथ एक छोटा अध्ययन है। किसी भी तरह से, यदि आप उस अध्ययन (वही एन , उसी जनसंख्या) को दोहराते हैं , तो आपको कोई संदेह नहीं होगा कि कुछ अलग नमूना अर्थ प्राप्त होगा। यह पता चला है कि, पी वैल्यू के संदर्भ में , 'कुछ अलग' एक ही है, चाहे आप बहुत बड़ा या छोटा अध्ययन किया हो। तो, मुझे केवल अपना p मान बताएं और मैं आपको अपना p अंतराल बताऊंगा ।

ज्योफ

— ज्योफ कमिंग
स्रोत

8

मेरे सवाल का जवाब देने के लिए इस वेबसाइट पर पंजीकरण करने के लिए बहुत बहुत धन्यवाद! मैं इसकी बहुत कदर करता हूँ। मुझे अब भी यकीन नहीं हो रहा है लेकिन मुझे आपके जवाब पर विचार करने में थोड़ा समय लगेगा। मेरी वर्तमान भावना यह है कि आप एक वैध बिंदु बनाते हैं, लेकिन मैं इससे असहमत हूं कि आप इसे कैसे बनाते हैं। एक साधारण आपत्ति: p = 0.05 H0 के सत्य होने के अनुरूप है। यदि H0 सही है, तो पी 0.04-0.05 रेंज में 1% समय पर होगा। यदि यह स्थिति है, तो प्रतिकृति पी-वैल्यू का वितरण 0 से 1 तक एक समान होगा। लेकिन आप सभी परिस्थितियों में शुरुआती पी = 0.05 के लिए एक अलग वितरण की भविष्यवाणी करते हैं । इसके बारे में कैसे सोचना चाहिए?

— अमीबा का कहना है कि मोनिका को

7

इस तर्क में एक निहित धारणा अस्थिर लगती है: यह है कि "सटीक प्रतिकृति" का अर्थ मो के बराबर है। यदि "सटीक प्रतिकृति" से हमारा मतलब है कि प्रकृति की उसी स्थिति के साथ प्रयोग को दोहराते हैं, तो परीक्षण सांख्यिकीय का वितरण अज्ञात है: यह प्रकृति की स्थिति पर निर्भर करता है। बायेसियन के दृष्टिकोण को अपनाने के अलावा - जिसका अर्थ है कि आपको अपने पूर्व को स्पष्ट रूप से बताने की आवश्यकता है - प्रगति करने का एकमात्र तरीका मूल या प्रतिकृति के प्रदर्शन से पहले संभावनाओं की गणना करना है , प्रतिकृति पर सशर्त नहीं।

— whuber

2

@ user43849 मैं पूरे सम्मान के साथ कहूंगा कि ऐसे व्यक्ति को यह समझ में नहीं आता है कि पी-वैल्यू क्या है। एक पी-मूल्य भविष्य के प्रयोगों के बारे में बहुत कम या कुछ भी नहीं कहता है । भविष्यवाणी अंतराल की एक निरंतर अवधारणा है जो सीधे यहां लागू होती है: प्रतिकृति का सवाल बस एक भविष्य के प्रयोग के पी-मूल्य के लिए एक भविष्यवाणी अंतराल की चिंता करता है। उत्तर को शास्त्रीय सांख्यिकीय सिद्धांत में अच्छी तरह से आधार दिया गया है, कोई नवीन अवधारणाओं की आवश्यकता नहीं है, और (निश्चित रूप से) आत्मा में गैर बायेसियन है।

— whuber

2

@ पेपर में खुदाई करने पर, मेरा मानना है कि व्यायाम के बारे में एक अंतर्निहित बायेसियन धारणा हो सकती है (मेरा उत्तर देखें)।

— जियोमैट 22

1

@GeoMatt हाँ, यह गणना को सही ठहराने का एकमात्र तरीका है।

— whuber

10

इस मुद्दे को @ GeoMatt22 द्वारा स्पष्ट किया गया है, और मुझे चर्चा में भाग लेने के लिए यहां आने वाले @GeoffCumming को देखकर खुशी हुई है। मैं इस उत्तर को आगे की टिप्पणी के रूप में पोस्ट कर रहा हूं।

जैसा कि यह पता चला है, यह चर्चा कम से कम गुडमैन (1992) के लिए प्रतिकृति, पी and मूल्यों और साक्ष्य और बाद में उत्तर सन्दर्भ (2002) पत्र के संपादक को एक टिप्पणी पर वापस जाती है । मैं इन दो संक्षिप्त लेखों को पढ़ने की अत्यधिक अनुशंसा कर सकता हूं, विशेष रूप से स्टीफन सेन के; मैं अपने आप को सन्नी से पूरी तरह सहमत हूँ।

यदि मैंने इस प्रश्न को पूछने से पहले इन पत्रों को पढ़ा था, तो मुझे सबसे अधिक संभावना है कि इसे कभी भी पोस्ट नहीं किया जाएगा। गुडमैन (कमिंग के विपरीत) बहुत स्पष्ट रूप से बताता है कि वह एक फ्लैट से पहले बायेसियन सेटिंग पर विचार करता है। उन्होंने उपस्थित नहीं करता है कमिंग करता है -value वितरण, और बजाय एक "महत्वपूर्ण" अवलोकन की संभावनाओं की रिपोर्ट एक प्रतिकृति प्रयोग में परिणाम: $p$ $p<0.05$

उनका मुख्य मुद्दा यह है कि ये संभावनाएं आश्चर्यजनक रूप से कम हैं (यहां तक कि यह केवल )। विशेष रूप से, यह केवल । (यह बाद वाला संभावना किसी भी और ।) $p=0.001$ $0.78$ $p=0.05$ $0.5$ $1/2$ $\alpha$ $p=\alpha$

Senn के जवाब की बात है कि यह एक उपयोगी अवलोकन जो, तथापि, करता है नहीं कमजोर किसी भी तरह से -values और करता नहीं गुडमैन के लिए, इसके विपरीत मतलब है कि -values "शून्य के खिलाफ सबूत बढ़ा-चढ़ा कर"। वह लिखता है: $p$ $p$

मैं यह भी मानता हूं कि उनका [गुडमैन] प्रदर्शन दो कारणों से उपयोगी है। सबसे पहले, यह किसी के लिए एक चेतावनी के रूप में कार्य करता है जो आगे के अध्ययन की योजना बना रहा है, जो अभी-अभी पूरा हुआ है (और जिसका थोड़ा महत्वपूर्ण परिणाम है) कि यह दूसरे अध्ययन में मेल नहीं खा सकता है। दूसरा, यह एक चेतावनी के रूप में कार्य करता है कि व्यक्तिगत अध्ययनों के परिणामों में स्पष्ट असंगति आम होने की उम्मीद की जा सकती है और इस घटना के लिए किसी को आगे नहीं बढ़ना चाहिए।

Senn हमें याद दिलाता है कि एक तरफा -values की बायेसियन पीछे संभावनाओं के रूप में समझा जा सकता है के लिए फ्लैट पूर्व के तहत (पूरे असली लाइन पर अनुचित पहले) [देखना Marsman और Wagenmakers 2016 में एक संक्षिप्त चर्चा के लिए इस तथ्य के और कुछ उद्धरण] । $p$ $H_0:\mu<0$ $\mu$

यदि ऐसा है तो किसी विशेष प्राप्त होने एक प्रयोग में -value, संभावना अगले प्रयोग एक निकलेगा कि कम -value है होना करने के लिए ; अन्यथा भविष्य की प्रतिकृति किसी भी तरह से अतिरिक्त साक्ष्य प्रदान करने से पहले आयोजित किया जा सकता है। तो यह कुल समझ में आता है कि गुडमैन के लिए संभाव्यता प्राप्त की है । और वास्तव में, कमिंग और @ GeoMatt22 द्वारा गणना किए गए सभी प्रतिकृति वितरण में संबंधित पर मध्यस्थ हैं । $p$ $p$ $1/2$ $p=0.05$ $0.5$ $p_\mathrm{obs}$

हालांकि, हमें इस प्रतिकृति की संभावना से अधिक होने की आवश्यकता नहीं है, यह विश्वास करने के लिए कि उपचार की प्रभावकारिता संभावित है। परीक्षणों की एक लंबी श्रृंखला, जिनमें से प्रतिशत प्रतिशत के स्तर पर महत्वपूर्ण थीं , इस बात के पुख्ता सबूत होंगे कि उपचार प्रभावी था। $0.5$ $50$ $5$

संयोग से, कोई भी जो -के लिए भविष्यवाणियों के पूर्वानुमानों को देखता है, कहते हैं, दिए गए आकार और शक्ति का टी-टेस्ट ( यहाँ देखें ) आश्चर्य नहीं होगा कि पर एक माध्य की आवश्यकता होगी जो इस वितरण को व्यापक बना देगा , एक मोटी पूंछ ओर जा रही है । इस प्रकाश में, कमिंग द्वारा व्यापक अंतराल की सूचना दी गई है जो आश्चर्यजनक है। $p$ $p=0.05$ $1$

क्या वे नहीं बल्कि करते सुझाव है कि एक बड़ा नमूना आकार का उपयोग करना चाहिए जब एक प्रयोग को दोहराने की कोशिश कर रहा है, और वास्तव में, इस प्रतिकृति अध्ययन के लिए एक मानक सिफारिश (जैसे उरी Simonsohn है पता चलता है एक सामान्य नियम के रूप में, नमूने का आकार बढ़ाने के लिए गुना)। $2.5$

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

5

(+1) सौभाग्य से , आपने गुडमैन या Senn पर तब तक नहीं किया जब तक आपने किया नहीं। :-)

— कार्डिनल

6

आगे की रोचक चर्चा के लिए सभी को धन्यवाद। अपनी टिप्पणी करने के बजाय, बिंदु से, मैं कुछ सामान्य प्रतिबिंब प्रस्तुत करूँगा।

Bayes। मेरे पास बायेसियन दृष्टिकोण के खिलाफ कुछ भी नहीं है। शुरुआत से मुझे उम्मीद है कि एक बायेसियन विश्लेषण, एक फ्लैट या फैलाना पूर्व ग्रहण करना, एक ही या बहुत समान पूर्वानुमान अंतराल देगा। पी पर एक पैरा है। 2008 के लेख में 291 के बारे में, आंशिक रूप से समीक्षकों में से एक ने संकेत दिया। इसलिए मैं ऊपर, उस दृष्टिकोण के माध्यम से काम करते हुए, प्रसन्न हूं। यह बहुत अच्छा है, लेकिन यह मेरे द्वारा लिए गए एक बहुत अलग दृष्टिकोण है।

एक तरफ के रूप में, मैंने विश्वास अंतराल (नए आँकड़े: प्रभाव आकार, CI, मेटा-विश्लेषण) की वकालत पर काम करने के लिए चुना है, बेशियन दृष्टिकोण के बजाय अनुमान (विश्वसनीय अंतराल के आधार पर) के कारण, क्योंकि मुझे नहीं पता कि कैसे समझाना है Bayesian शुरुआती के लिए पर्याप्त रूप से अच्छी तरह से दृष्टिकोण करता है। मैंने कोई भी परिचयात्मक बायेसियन पाठ्यपुस्तक नहीं देखी है जो मुझे लगता है कि मैं शुरुआती लोगों के साथ उपयोग कर सकता था, या जो कि बड़ी संख्या में शोधकर्ताओं द्वारा सुलभ और आश्वस्त होने की संभावना है। इसलिए, हमें कहीं और देखने की जरूरत है अगर हम चाहते हैं कि शोधकर्ताओं को उनके सांख्यिकीय अनुमान लगाने के तरीके में सुधार करने का एक अच्छा मौका मिले। हां, हमें p से आगे बढ़ने की जरूरत हैमूल्यों, और अनुमान लगाने के लिए निर्णय लेने से बदलाव, और Bayesians ऐसा कर सकते हैं। लेकिन व्यावहारिक परिवर्तन को प्राप्त करने की बहुत अधिक संभावना है, इमो, एक पारंपरिक सीआई दृष्टिकोण है। यही कारण है कि हाल ही में जारी हमारी इंट्रो सांख्यिकी पाठ्यपुस्तक, नए सांख्यिकी दृष्टिकोण को लेती है। Www.thenewstatistics.com देखें

वापस प्रतिबिंबों के लिए। मेरे विश्लेषण का केंद्र यह है कि मैं पहले अध्ययन से केवल पी मूल्य जानकर क्या मतलब है । मेरे द्वारा की गई मान्यताओं को सामान्य कहा जाता है (सामान्य जनसंख्या, यादृच्छिक नमूनाकरण, ज्ञात जनसंख्या SD इसलिए हम t गणनाओं के बजाय z का उपयोग कर सकते हैं क्योंकि हम जनसंख्या माध्य, सटीक प्रतिकृति के बारे में आचरण करते हैं)। लेकिन यह सब मैं मान रहा हूं। मेरा प्रश्न है ' प्रारंभिक प्रयोग से केवल पी दिया जाता है , हम कितनी दूर जा सकते हैं?' मेरा निष्कर्ष यह है कि हम प्रतिकृति प्रयोग से अपेक्षित पी का वितरण पा सकते हैं । उस वितरण से हम पी अंतराल, या ब्याज की किसी भी संभावना को प्राप्त कर सकते हैं , जैसे कि संभावना जो पी देगी।<.05, या ब्याज का कोई अन्य मूल्य।

तर्क का मूल, और शायद सबसे प्रतिबिंब के लायक कदम, चित्र ए 2 में लेख में चित्रित किया गया है। निचला आधा शायद अप्रमाणिक है। यदि हम म्यू को जानते हैं (आमतौर पर यह मानकर हासिल किया जाता है कि यह प्रारंभिक अध्ययन से मतलब के बराबर है), तो मोटी लाइन खंडों द्वारा प्रस्तुत अनुमान त्रुटियों का एक ज्ञात वितरण होता है (सामान्य, मतलब म्यू, एसडी जैसा कि कैप्शन में बताया गया है)।

फिर बड़ा कदम: चित्रा 2 ए के ऊपरी आधे हिस्से पर विचार करें। हमें म्यू के बारे में कोई जानकारी नहीं है। कोई जानकारी नहीं - किसी पूर्व के बारे में कोई छिपी हुई धारणा नहीं। फिर भी हम उन मोटी लाइन खंडों के वितरण को बता सकते हैं: सामान्य, शून्य मतलब, SD = SQRT (2) गुना SD निचले आधे हिस्से में। यह हमें प्रतिकृति पी के वितरण को खोजने की आवश्यकता है ।

परिणामी p अंतराल आश्चर्यजनक रूप से लंबे होते हैं- कम से कम मुझे आश्चर्य होता है जब मैं जिस तरह से p मानों को सार्वभौमिक रूप से शोधकर्ताओं द्वारा उपयोग किया जाता है , उससे तुलना करता हूं । शोधकर्ता आमतौर पर एक पी वैल्यू के दूसरे या तीसरे दशमलव स्थान के बारे में देखते हैं , इस बात की सराहना किए बिना कि वे जो मूल्य देख रहे हैं, वह वास्तव में बहुत अलग हो सकता है। इसलिए पीपी 293-4 पर मेरी टिप्पणी रिपोर्टिंग के बारे में पी अंतराल की अस्पष्टता को स्वीकार करने के पी ।

लंबे, हां, लेकिन इसका मतलब यह नहीं है कि प्रारंभिक प्रयोग से पी का मतलब कुछ भी नहीं है। एक बहुत ही कम प्रारंभिक पी के बाद , प्रतिकृति औसतन, छोटे पी मूल्यों के लिए चलेगी । उच्च प्रारंभिक पी और प्रतिकृति में कुछ बड़े पी मान होंगे। पी पर तालिका 1 देखें। 292 और तुलना करें, उदाहरण के लिए, प्रारंभिक पी = .001 और .1 के लिए दाएं कॉलम में पी अंतराल। पारंपरिक रूप से मील को अलग माना जाता है। दो पी अंतराल निश्चित रूप से अलग-अलग हैं, लेकिन दोनों का भारी ओवरलैप है। .001 प्रयोग की प्रतिकृति काफी आसानी से पी दे सकती है.1 प्रयोग की प्रतिकृति से बड़ा है। हालांकि, सबसे अधिक संभावना है, यह नहीं होगा।

उनके पीएचडी अनुसंधान के भाग के रूप में, जेरी लाइ, ने बताया ( लाइ, एट अल।, 2011 ) कई अच्छे अध्ययनों में पाया गया कि कई विषयों के प्रकाशित शोधकर्ताओं ने व्यक्तिपरक पी अंतराल हैं जो अब तक बहुत कम हैं। दूसरे शब्दों में, शोधकर्ता बड़े पैमाने पर अनुमान लगाने की प्रवृत्ति रखते हैं कि किसी प्रतिकृति का p मान कितना भिन्न होता है।

मेरा निष्कर्ष यह है कि हमें बस p मानों का उपयोग नहीं करना चाहिए । 95% सीआई की रिपोर्ट करें और चर्चा करें, जो डेटा में सभी जानकारी बताती है जो हमें जनसंख्या के बारे में बताती है जिसका मतलब है कि हम जांच कर रहे हैं। CI को देखते हुए, p मान कुछ भी नहीं जोड़ता है, और सुझाव देने की संभावना है, गलत तरीके से, कुछ डिग्री निश्चितता (महत्वपूर्ण! महत्वपूर्ण नहीं! प्रभाव मौजूद नहीं है! यह नहीं है!)। निश्चित रूप से, CI और p मान एक ही सिद्धांत पर आधारित हैं, और हम एक से दूसरे में परिवर्तित कर सकते हैं (हमारी इंट्रो टेक्स्टबुक के अध्याय 6 में बहुत कुछ है)। लेकिन CI, p की तुलना में अधिक जानकारी देता है । सबसे महत्वपूर्ण बात यह है कि यह लार को अनिश्चितता की सीमा बनाता है। निश्चितता के लिए हमारी मानवीय प्रवृत्ति को देखते हुए, सीआई की सीमा महत्वपूर्ण है।

मैंने ' p मानों के नृत्य ' वीडियो में p मानों की परिवर्तनशीलता को उजागर करने का भी प्रयास किया है । गूगल ' पी मूल्यों का नृत्य '। कम से कम दो संस्करण हैं।

हो सकता है कि आपके सभी आत्मविश्वास अंतराल कम हों!

ज्योफ

— ज्योफ कमिंग
स्रोत

3

इन अतिरिक्त टिप्पणियों के लिए धन्यवाद, ज्योफ। मैं यहां कुछ बिंदुओं से सहमत हूं (उदाहरण के लिए "निश्चितता की डिग्री") और कुछ अन्य लोगों से असहमत (उदाहरण के लिए "CI को देखते हुए, p मान कुछ नहीं जोड़ता है") लेकिन विशेष रूप से एक चीज जो मुझे महसूस होती है कि मुझे दोहराया जाना चाहिए: मैं नहीं सोचें कि बिना बेयर्स के आपके विश्लेषण को करने का कोई तरीका है। तर्क जो आपके चित्र A2 पर प्रस्तुत किया गया है, उसे छिपी हुई धारणा के रूप में पहले एक फ्लैट की आवश्यकता होती है। कोई अन्य पुजारियों को ग्रहण कर सकता है और बहुत अलग परिणामों पर पहुंच सकता है; मुझे नहीं लगता कि कोई भी शुद्ध तर्कवादी तर्क है जो आपके निष्कर्ष का समर्थन कर सकता है। @ व्हिबर की टिप्पणी ऊपर देखें।

— अमीबा का कहना है कि मोनिका

@Geoff कमिंग - सांख्यिकी शिक्षा और परिणामों की व्याख्या के बारे में आपकी टिप्पणियों की बहुत सराहना की जाती है।

— rolando2