बड़े अध्ययनों में छोटे प्रभाव का पता लगाना प्रकाशन पूर्वाग्रह को क्यों दर्शाता है?

कई कार्यप्रणाली संबंधी कागजात (जैसे ईगर एट अल 1997 ए, 1997 बी) मेटा-एनालिसिस द्वारा बताए गए प्रकाशन पूर्वाग्रह की चर्चा करते हैं, जैसे नीचे दिए गए फ़नल प्लॉट का उपयोग करते हुए।

1997 बी पेपर यह कहता है कि "यदि प्रकाशन पूर्वाग्रह मौजूद है, तो यह उम्मीद है कि प्रकाशित अध्ययनों में, सबसे बड़े लोग सबसे छोटे प्रभावों की रिपोर्ट करेंगे।" लेकिन ऐसा क्यों है? यह मुझे लगता है कि यह सब साबित होगा जो हम पहले से ही जानते हैं: छोटे प्रभाव केवल बड़े नमूना आकारों के साथ पता लगाने योग्य हैं ; जबकि अप्रकाशित रहे अध्ययनों के बारे में कुछ नहीं कहना।

इसके अलावा, उद्धृत कार्य का दावा है कि विषमता जिसे एक फ़नल प्लॉट में दृष्टिगत रूप से मूल्यांकन किया गया है "यह दर्शाता है कि कम लाभकारी लाभ के साथ छोटे परीक्षणों का चयनात्मक गैर-प्रकाशन था।" लेकिन, फिर से, मुझे समझ में नहीं आता है कि प्रकाशित किए गए अध्ययनों की कोई भी विशेषताएं संभवत: हमें उन कार्यों के बारे में कुछ भी बता सकती हैं (जो हमें इनवॉइस बनाने की अनुमति देते हैं) जो प्रकाशित नहीं हुए थे !

संदर्भ
एगर, एम।, स्मिथ, जीडी, और फिलिप्स, एएन (1997)। मेटा-विश्लेषण: सिद्धांत और प्रक्रिया । बीएमजे, 315 (7121), 1533-1537।

एगर, एम।, स्मिथ, जीडी, श्नाइडर, एम।, और मिंदर, सी। (1997)। एक सरल, चित्रमय परीक्षण द्वारा मेटा-विश्लेषण में पूर्वाग्रह का पता लगाया गया । बीएमजे , 315 (7109), 629-634।

meta-analysis publication-bias

— z8080
स्रोत

मुझे नहीं लगता कि आपके पास यह सही तरीका है। इस क्यू एंड ए हो सकता है मदद करने के लिए शायद इस सवाल का जवाब stats.stackexchange.com/questions/214017/...

— mdewey

एक छोटे से अध्ययन के लिए सभी में प्रकाशित होने के लिए एक बड़ा प्रभाव दिखाना होगा चाहे कोई भी सही प्रभाव आकार हो।

— Einar

जवाबों:

यहाँ उत्तर अच्छे हैं, सभी को +1। मैं सिर्फ यह दिखाना चाहता था कि एक चरम मामले में यह प्रभाव फ़नल प्लॉट की शर्तों में कैसे दिख सकता है। नीचे मैं $N(.01, .1)$ रूप में एक छोटे से प्रभाव का अनुकरण करता हूं और आकार में 2 और 2000 टिप्पणियों के बीच नमूने आकर्षित करता हूं ।

भूखंड में ग्रे अंक एक सख्त तहत प्रकाशित नहीं किया जाएगा $p < .05$ शासन के । ग्रे लाइन "खराब पी-मूल्य" अध्ययन सहित नमूना आकार पर प्रभाव आकार का एक प्रतिगमन है, जबकि लाल इनमें से एक को बाहर करता है। काली रेखा सही प्रभाव दिखाती है।

जैसा कि आप देख सकते हैं, प्रकाशन पूर्वाग्रह के तहत छोटे अध्ययनों के लिए एक मजबूत प्रवृत्ति है जो प्रभाव के आकारों को पछाड़ते हैं और बड़े लोगों को सत्य के करीब प्रभाव आकारों की रिपोर्ट करने के लिए।

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{2019-02-20 को रेप्रेक्स पैकेज (v0.2.1) द्वारा बनाया गया}

— Einar
स्रोत

उत्कृष्ट बिंदु, वास्तव में यह सहज ज्ञान युक्त समझने में मदद करता है, धन्यवाद!

— z8080

+1 यह ग्राफिक एक हज़ार शब्दों के लायक है और समस्या को अच्छी तरह से सारांशित करता है। इस प्रकार का पूर्वाग्रह तब भी पाया जा सकता है जब वास्तविक प्रभाव का आकार 0. है

— अंडरमर्नर

सबसे पहले, हमें यह सोचने की ज़रूरत है कि "प्रकाशन पूर्वाग्रह" क्या है, और यह वास्तव में साहित्य में क्या बनाता है, इसे कैसे प्रभावित करेगा।

प्रकाशन पूर्वाग्रह के लिए एक काफी सरल मॉडल यह है कि हम कुछ डेटा एकत्र करते हैं और यदि $p < 0.05$ , हम प्रकाशित करते हैं। अन्यथा, हम नहीं। तो यह कैसे प्रभावित करता है जो हम साहित्य में देखते हैं? खैर, एक के लिए, यह गारंटी देता है कि $|\hat \theta |/ SE(\hat \theta) >1.96$ (मानकर वाल्ड स्टैटिस्टिक्स का उपयोग किया जाता है)। अब, एक बिंदु यह बनाया जा रहा है कि यदि $n$ वास्तव में छोटा है, तो $SE(\hat \theta)$ अपेक्षाकृत बड़ी और बड़ी है $|\hat \theta|$ है आवश्यक प्रकाशन के लिए।

अब मान लीजिए कि वास्तव में, $\theta$ अपेक्षाकृत छोटा है। मान लीजिए कि हम 200 प्रयोग करते हैं, 100 वास्तव में छोटे नमूने के आकार के साथ और 100 वास्तव में बड़े नमूने के आकार के साथ। ध्यान दें कि 100 वास्तव में छोटे नमूना आकार के प्रयोग, केवल वही जो हमारे सरल प्रकाशन पूर्वाग्रह मॉडल द्वारा प्रकाशित किए जाएंगे, वे बड़े मूल्यों वाले होते हैं $|\hat \theta|$ बस यादृच्छिक त्रुटि के कारण । हालांकि, बड़े नमूनों के आकार के साथ हमारे 100 प्रयोगों में, बहुत छोटे मूल्य हैं $\hat \theta$ will be published. So if the larger experiments systematically show smaller effect than the smaller experiments, this suggests that perhaps $|\theta|$ is actually significantly smaller than what we typically see from the smaller experiments that actually make it into publication.

Technical note: it's true that either having a large $|\hat \theta|$ and/or small $SE(\hat \theta)$ will lead to $p < 0.05$ . However, since effect sizes are typically thought of as relative to standard deviation of error term, these two conditions are essentially equivalent.

— Cliff AB
स्रोत

"Now, one point being made is that if

n

$n$ is really small, then

S E (θ)

$SE(\theta)$ is relatively large and a large

| θ |

$|\theta|$ is required for publication." This is not, technically speaking, necessarily true:

S E (θ) = \frac{S D (θ)}{\sqrt{n}}

$SE(\theta) = \frac{SD(\theta)}{\sqrt{n}}$ : if

S E (θ)

$SE(\theta)$ is very small, then a small

S E

$SE$ may result even for a small sample size, right? EDIT: Oh wait! Just read your closing sentence. :) +1

— Alexis

Read this statement a different way:

If there is no publication bias, effect size should be independent of study size.

That is, if you are studying one phenomenon, the effect size is a property of the phenomenon, not the sample/study.

Estimates of effect size could (and will) vary across studies, but if there is a systematic decreasing effect size with increasing study size, that suggests there is bias. The whole point is that this relationship suggests that there are additional small studies showing low effect size that have not been published, and if they were published and therefore could be included in a meta analysis, the overall impression would be that the effect size is smaller than what is estimated from the published subset of studies.

The variance of the effect size estimates across studies will depend on sample size, but you should see an equal number of under and over estimates at low sample sizes if there were no bias.

— Bryan Krause
स्रोत

But is it really correct to say that "If there is no publication bias, effect size should be independent of study size"? This is true of course when you refer to the true underlying effect, but I think they are referring to the estimated effect. An effect size that is dependent of study size (suggesting bias) amounts to a linear relationship in that scatter plot (high correlation). This is something I have personally not seen in any funnel plots, even though of course many of those funnel plots did imply that a bias existed.

— z8080

@z8080 You're right, only if the mean and standard deviation estimates are unbiased will the estimated effect size be completely independent of study size if there is no publication bias. Since the sample standard deviation is biased, there will be some bias in the effect size estimates, but that bias is small compared to the level of bias across studies that Egger et al are referring to. In my answer I'm treating it as negligible, assuming the sample size is large enough that the SD estimate is nearly unbiased, and therefore considering it to be independent of study size.

— Bryan Krause

@z8080 The variance of the effect size estimates will depend on sample size, but you should see an equal number of under and over estimates at low sample sizes.

— Bryan Krause

"Estimates of effect size could (and will) vary across studies, but if there is a systematic relationship between effect size and study size" That phrasing is a bit unclear about the difference between dependence and effect size. The distribution of effect size will the different for difference sample size, and thus will not be independent of sample size, regardless of whether there's bias. Bias is a systematic direction of the dependence.

— Acccumulation

@Acccumulation Does my edit fix the lack of clarity you saw?

— Bryan Krause