क्या उन अध्ययनों का एक मेटा-विश्लेषण किया जा सकता है जो सभी "सांख्यिकीय रूप से सांकेतिक नहीं" "महत्वपूर्ण" निष्कर्ष पर ले जाते हैं?

एक मेटा-विश्लेषण में अध्ययनों का एक समूह शामिल है, जिनमें से सभी में 0.05 से अधिक पी मूल्य बताया गया है। क्या कुल मेटा-विश्लेषण के लिए P5 0.05 से कम मूल्य की रिपोर्ट करना संभव है? किन परिस्थितियों में?

(मुझे पूरा यकीन है कि इसका जवाब हां है, लेकिन मैं एक संदर्भ या स्पष्टीकरण चाहूंगा।)

statistical-significance meta-analysis combining-p-values

— हार्वे मोटुलस्की
स्रोत

मैं मेटा-विश्लेषण के बारे में बहुत कुछ नहीं जानता, लेकिन मैं इस धारणा के तहत था कि इसमें कोई परिकल्पना परीक्षण शामिल नहीं है, बस जनसंख्या प्रभाव का एक अनुमान है, जिस स्थिति में बात करने की कोई धारणा नहीं है।

— कोडियालॉजिस्ट

खैर, एक मेटा-विश्लेषण-दिन के अंत में सिर्फ एक भारित मतलब है। और आप निश्चित रूप से उस भारित माध्य के लिए एक परिकल्पना परीक्षण स्थापित कर सकते हैं। उदाहरण के लिए देखें, बोरेनस्टीन, माइकल, एट अल। "मेटा" विश्लेषण के लिए निश्चित and प्रभाव और यादृच्छिक for प्रभाव मॉडल का एक मूल परिचय। " अनुसंधान संश्लेषण विधि 1.2 (2010): 97-111।

— बोसोविच

अन्य उत्तर भी अच्छे हैं, लेकिन एक साधारण मामला: दो अध्ययन पी = 0.9 पर महत्वपूर्ण हैं, लेकिन पी = 0.95 नहीं। संभावना है कि दो स्वतंत्र अध्ययन दोनों पी दिखाएगा = = 0.9 केवल 0.01 है, इसलिए आपका मेटा विश्लेषण पी = 0.99

— बैरीकेटर

सीमा लें: कोई भी माप एक छोटे

p

$p$ मान के लिए ((nontrivial) परिकल्पना के विरुद्ध पर्याप्त प्रमाण प्रदान नहीं कर सकता है , लेकिन माप का एक बड़ा पर्याप्त संग्रह कर सकता है।

— एरिक टावर्स

p- मान या तो "सांख्यिकीय रूप से महत्वपूर्ण" या महत्वहीन प्रभाव का संकेत नहीं देते हैं। हम एक महत्वपूर्ण निष्कर्ष से क्या समझ सकते हैं? क्या यह मेटा एनालिटिक निष्कर्ष है?

— सुभाष सी। डावर

जवाबों:

सिद्धांत रूप में, हाँ ...

अलग-अलग अध्ययनों के परिणाम महत्वहीन हो सकते हैं लेकिन एक साथ देखे जाने पर परिणाम महत्वपूर्ण हो सकते हैं।

सिद्धांत रूप में आप परिणामों के इलाज से आगे बढ़ सकते हैं $y_i$ अध्ययन के $i$ किसी अन्य यादृच्छिक चर की तरह।

चलो कुछ यादृच्छिक चर हो (जैसे। अध्ययन से अनुमान )। तो अगर स्वतंत्र हैं और , आप लगातार साथ मतलब अनुमान कर सकते हैं: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

अधिक मान्यताओं को , का अनुमान का विचरण करें । तो फिर तुम कुशलता से अनुमान कर सकते हैं उलटा विचरण भार के साथ: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

इन दोनों स्थितियों कुछ विश्वास के स्तर पर सांख्यिकीय रूप से महत्वपूर्ण है, भले ही अलग-अलग अनुमान नहीं हैं हो सकता है। $\hat{\mu}$

लेकिन बड़ी समस्याएं हो सकती हैं, समस्याओं का संज्ञान लिया जाएगा ...

तो तो मेटा-विश्लेषण की ओर अभिसरित नहीं हो सकता है (यानी मेटा-विश्लेषण का मतलब एक असंगत आकलनकर्ता है)। $E[y_i] \neq \mu$ $\mu$

उदाहरण के लिए, यदि नकारात्मक परिणामों को प्रकाशित करने के खिलाफ पूर्वाग्रह है, तो यह सरल मेटा-विश्लेषण बहुत असंगत और पक्षपाती हो सकता है! यह इस संभावना का अनुमान लगाने जैसा होगा कि एक सिक्का केवल फ्लिप को देखने के द्वारा भूमि के शीर्ष को फ्लिप करता है, जहां वह पूंछ नहीं करता था!
और स्वतंत्र नहीं हो सकते हैं। उदाहरण के लिए, यदि दो अध्ययन और एक ही डेटा पर आधारित थे, तोमेटा-विश्लेषण में और को स्वतंत्र मानकर मानक त्रुटियों को बहुत कम किया जा सकता है और सांख्यिकीय महत्व को कम कर सकता है। आपका अनुमान अभी भी संगत होगा, लेकिन मानक-त्रुटियों का अध्ययन में क्रॉस-सहसंबंध के लिए यथोचित खाता होना चाहिए। $y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$
संयोजन (1) और (2) विशेष रूप से खराब हो सकता है।

उदाहरण के लिए, एक साथ औसत सर्वेक्षणों का मेटा-विश्लेषण किसी भी व्यक्तिगत सर्वेक्षण की तुलना में अधिक सटीक होता है। लेकिन एक साथ औसत चुनाव अभी भी सहसंबद्ध त्रुटि की चपेट में हैं। पिछले चुनावों में जो कुछ सामने आया है, वह यह है कि युवा एग्जिट पोल के कार्यकर्ता पुराने लोगों की बजाय अन्य युवाओं का साक्षात्कार कर सकते हैं। यदि सभी एग्जिट पोल एक ही त्रुटि करते हैं, तो आपके पास एक बुरा अनुमान है जो आप सोच सकते हैं कि यह एक अच्छा अनुमान है (एग्जिट पोल को सहसंबद्ध किया जाता है क्योंकि वे एग्जिट पोल का संचालन करने के लिए एक ही दृष्टिकोण का उपयोग करते हैं और यह दृष्टिकोण एक ही त्रुटि उत्पन्न करता है)।

निस्संदेह मेटा-विश्लेषण से अधिक परिचित लोग बेहतर उदाहरण, अधिक बारीक मुद्दों, अधिक परिष्कृत अनुमान तकनीकों, आदि ... के साथ आ सकते हैं, लेकिन यह सबसे बुनियादी सिद्धांत और कुछ बड़ी समस्याओं में से कुछ पर मिलता है। यदि विभिन्न अध्ययन स्वतंत्र, यादृच्छिक त्रुटि करते हैं, तो मेटा-विश्लेषण अविश्वसनीय रूप से शक्तिशाली हो सकता है। यदि अध्ययन में त्रुटि व्यवस्थित है (उदाहरण। हर कोई पुराने मतदाताओं आदि को रेखांकित करता है ...), तो पढ़ाई का औसत भी बंद हो जाएगा। यदि आप इस बात को कम आंकते हैं कि अध्ययन कैसे सहसंबद्ध हैं या कैसे सहसंबद्ध त्रुटियां हैं, तो आप प्रभावी रूप से अपने समग्र नमूना आकार का अनुमान लगाते हैं और अपनी मानक त्रुटियों को कम आंकते हैं।

लगातार परिभाषाओं आदि के सभी प्रकार के व्यावहारिक मुद्दे भी हैं ...

— मैथ्यू गुन
स्रोत

मैं प्रभाव आकारों के बीच निर्भरता की अनदेखी के लिए एक मेटा-विश्लेषण की आलोचना कर रहा हूं (यानी, कई प्रभाव आकार एक ही प्रतिभागियों पर आधारित थे, लेकिन स्वतंत्र रूप से इलाज किया गया)। लेखकों का कहना है कि कोई बड़ी बात नहीं है, हम सिर्फ मध्यस्थों में रुचि रखते हैं वैसे भी। मैं यहां आपके द्वारा किए गए बिंदु को बना रहा हूं: उन्हें "मेटा-विश्लेषण में स्वतंत्र मानते हुए मानक त्रुटियों को बहुत कम कर सकते हैं और सांख्यिकीय महत्व को कम कर सकते हैं।" क्या कोई प्रमाण / सिमुलेशन अध्ययन दिखा रहा है कि ऐसा क्यों है? मेरे पास बहुत सारे संदर्भ हैं जो यह कहते हैं कि सहसंबद्ध त्रुटियों का अर्थ है सेई को कम करके आंका जाना ... लेकिन मुझे पता नहीं क्यों?

— मार्क व्हाइट

@ मार्खाइट मूल विचार

से अधिक जटिल नहीं है

। सभी के लिए तो

हमारे पास

और

के लिए

तो

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

और अपने मानक त्रुटि है

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

। दूसरी ओर, यदि सहसंयोजक शब्द सकारात्मक और बड़े हैं, तो मानक त्रुटि बड़ी होने वाली है।

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— मैथ्यू गुन

@MarkWhite मैं एक मेटा-विश्लेषण विशेषज्ञ नहीं हूं, और मैं ईमानदारी से नहीं जानता कि आधुनिक, मेटा-विश्लेषण कैसे करना चाहिए, इसके लिए एक महान स्रोत है । वैचारिक रूप से, समान डेटा पर विश्लेषण की नकल करना निश्चित रूप से उपयोगी है (जैसा कि कुछ विषयों का गहन अध्ययन है), लेकिन यह नए, स्वतंत्र विषयों पर एक खोज को पुन: पेश करने के समान नहीं है।

— मैथ्यू गन

आह, इसलिए शब्दों में: एक प्रभाव आकार का कुल विचलन (a) इसके विचरण से आता है और (b) यह अन्य प्रभाव आकारों के साथ सहसंयोजक होता है। यदि सहसंयोजक 0 है, तो मानक त्रुटि अनुमान ठीक है; लेकिन अगर यह अन्य प्रभाव आकारों के साथ सहवास करता है, तो हमें उस विचरण का हिसाब देना होगा, और इसे अनदेखा करने का मतलब है कि हम विचरण को कम कर रहे हैं। ऐसा लगता है कि विचरण दो भागों ए और बी से बना है, और निर्भरता को मानते हुए बी भाग 0 है जब यह नहीं है?

— मार्क व्हाइट

इसके अलावा, यह एक अच्छा स्रोत प्रतीत होता है (विशेष रूप से बॉक्स 2 देखें): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— मार्क व्हाइट

हाँ। मान लीजिए आपके पास से पी मूल्यों स्वतंत्र अध्ययन। $N$ $N$

फिशर का परीक्षण

(EDIT - नीचे mdewey की उपयोगी टिप्पणी के जवाब में, यह विभिन्न मेटा परीक्षणों के बीच अंतर करने के लिए प्रासंगिक है। मैं नीचे mdewey द्वारा उल्लिखित एक और मेटा टेस्ट के मामले को समाप्त करता हूं)

शास्त्रीय फिशर मेटा परीक्षण (देखें फिशर (1932), "अनुसंधान श्रमिकों के लिए सांख्यिकीय तरीकों" ) आंकड़ा एक है अशक्त वितरण, के रूप में एक समान आर.वी. के लिए ।

एफ = - 2 Σ_{मैं = 1}^{एन} \ln ({पी}_{मैं})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

चलो निरूपित -quantile की अशक्त वितरण। $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

मान लीजिए सभी पी-वैल्यू बराबर हैं , जहां, संभवतः, । फिर, और जब $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$ उदाहरण के लिए, के लिएऔर, व्यक्तिगतकेवल कम से कम करने की आवश्यकता है -values

सी < \exp (- \frac{χ_{2 एन}^{2} (1 - α)}{2 एन})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

बेशक, मेटा स्टेटिस्टिक परीक्षण क्या है, केवल "एग्रीगेट" अशक्त है कि सभी व्यक्तिगत नल सही हैं, जिसे केवल नल में से एक के झूठे होने पर खारिज किया जाना है। $N$

संपादित करें:

यहां खिलाफ "स्वीकार्य" पी-वैल्यू का एक प्लॉट है , जो पुष्टि करता है कि में बढ़ता है , हालांकि यह पर बंद हो जाता है । $N$ $c$ $N$ $c\approx0.36$

$\chi^2$

χ_{2 एन}^{2} (1 - α) \leq 2 एन + 2 लॉग (1 / α) + 2 \sqrt{2 एन लॉग (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

उलटा सामान्य परीक्षण (स्टॉफ़र एट अल।, 1949)

परीक्षण आँकड़ा द्वारा दिया गया है

जेड = \frac{1}{\sqrt{एन}} Σ_{मैं = 1}^{एन} Φ^{- 1} ({पी}_{मैं})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— क्रिस्टोफ़ हांक
स्रोत

1 / e

$1/e$

धन्यवाद :-)। प्लॉट को देखने से पहले मैंने एक भी उम्मीद नहीं की थी ...

— क्रिस्टोफ़ हनक

दिलचस्प बात यह है कि फिशर के कारण विधि आमतौर पर इस्तेमाल की जाने वाली विधियों में से केवल एक है जिसमें यह संपत्ति है। अन्य लोगों के लिए जिसे आप F कहते हैं, N के साथ बढ़ता है अगर $ c> 0.5) और अन्यथा घट जाती है। यह स्टॉफ़र की विधि और एडिंगटन की विधि के साथ-साथ लॉग के आधार पर और पी के माध्यम पर भी लागू होता है। विल्किंसन की विधि (न्यूनतम पी, अधिकतम पी, आदि) के विभिन्न तरीकों के विभिन्न तरीके फिर से अलग-अलग गुण हैं।

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

{पी}_{[1]} \leq {पी}_{[2]} ... {पी}_{[कश्मीर]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

{पी}_{[1]} < 1 - (1 - α_{*})^{\frac{1}{कश्मीर}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

LHC Tippett की विधि एक पुस्तक में वर्णित है सांख्यिकी के तरीके। 1931 (प्रथम संस्करण) और विल्किंसन की विधि यहाँ एक लेख में है "मनोवैज्ञानिक अनुसंधान में एक सांख्यिकीय विचार"

— mdewey
स्रोत

धन्यवाद। लेकिन ध्यान दें कि अधिकांश मेटा-विश्लेषण विधियां प्रभाव आकार (नमूना आकार में किसी भी अंतर के लिए लेखांकन) को जोड़ती हैं, और पी मूल्यों को संयोजित नहीं करती हैं।

— हार्वे मोटुलस्की

@HarveyMotulsky सहमत, पी-वैल्यू का संयोजन एक अंतिम उपाय है, लेकिन ओपी ने अपने सवाल को

— कॉम्बिनेशन

मुझे लगता है कि आपका उत्तर सही है।

— सुभाष सी। डावर