द्विपद विश्वास अंतराल अनुमान - यह सममित क्यों नहीं है?

Question

मैंने एक द्विपद अनुपात के विश्वास अंतराल का अनुमान लगाने के लिए निम्नलिखित आर कोड का उपयोग किया है क्योंकि मैं समझता हूं कि "पावर गणना" के लिए विकल्प जब एक आबादी में बीमारियों का पता लगाने वाले रिसीवर ऑपरेटिंग विशेषता वक्र डिजाइन को डिजाइन करते हैं।

n 150 है, और बीमारी, हम मानते हैं, जनसंख्या में 25% प्रचलित है। मैंने 75% संवेदनशीलता और 90% विशिष्टता के लिए मूल्यों की गणना की है (क्योंकि यही लोग ऐसा करते हैं)।

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

मैंने इस साइट का दौरा भी किया है:

http://statpages.org/confint.html

जो एक जावा पृष्ठ है जो द्विपद विश्वास अंतराल की गणना करता है, और यह एक ही उत्तर देता है।

वैसे भी, उस लंबे सेट-अप के बाद, मैं पूछना चाहता हूं कि आत्मविश्वास अंतराल सममित क्यों नहीं हैं, उदाहरण के लिए संवेदनशीलता है

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579 

क्षमा करें यदि यह एक मूर्खतापूर्ण प्रश्न है, लेकिन हर जगह मुझे लगता है कि यह सुझाव देते हैं कि वे सममित होंगे, और मेरे एक सहयोगी को लगता है कि वे भी होंगे।

Answer 1

वे माना जाता है कि सममित माना जाता है क्योंकि अक्सर एक सामान्य सन्निकटन का उपयोग किया जाता है। यह एक अच्छी तरह से काम करता है मामले में पी 0.5 के आसपास है। binom.testदूसरी ओर "सटीक" क्लॉपर-पियर्सन अंतराल की रिपोर्ट करता है, जो एफ वितरण पर आधारित हैं ( दोनों दृष्टिकोणों के सटीक सूत्रों के लिए यहां देखें )। यदि हम आर में क्लोपर-पीयरसन अंतराल को लागू करेंगे तो यह कुछ इस तरह होगा ( नोट देखें ):

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

आप लिंक में और कार्यान्वयन में दोनों देखते हैं कि ऊपरी और निचली सीमा के लिए सूत्र पूरी तरह से अलग हैं। एक सममित विश्वास अंतराल का एकमात्र मामला है जब पी = 0.5। सूत्र से लिंक का उपयोग करना और ध्यान में रखना कि इस मामले में $n = 2\times x$ अपने आप को प्राप्त करना आसान है कि यह कैसे आता है।

मैंने व्यक्तिगत रूप से एक लॉजिस्टिक दृष्टिकोण के आधार पर आत्मविश्वास अंतराल को देखना बेहतर समझा। द्विपद डेटा आमतौर पर एक लॉग लिंक लिंक फ़ंक्शन का उपयोग करके बनाया गया है, जिसे निम्न रूप में परिभाषित किया गया है:

$${\rm logit}(x) = \log\! \bigg( \frac{x}{1-x} \bigg)$$

यह लिंक एक सामान्य वितरण के लिए लॉजिस्टिक प्रतिगमन में त्रुटि शब्द "मैप" करता है। परिणामस्वरूप, लॉजिस्टिक फ्रेमवर्क में विश्वास अंतराल लॉजिटिक मूल्यों के आसपास सममित होते हैं, क्लासिक लीनियर रिग्रेशन फ्रेमवर्क की तरह। रेखीय प्रतिगमन के आसपास संपूर्ण सामान्यता-आधारित सिद्धांत का उपयोग करने की अनुमति देने के लिए लॉगजीस परिवर्तन का सटीक उपयोग किया जाता है।

उलटा परिवर्तन करने के बाद:

$${\rm logit}^{-1}(x) = \frac{e^x}{1+e^{x}}$$

आपको फिर से एक असममित अंतराल मिलता है। अब ये विश्वास अंतराल वास्तव में पक्षपाती हैं। उनकी कवरेज वह नहीं है जिसकी आप उम्मीद करेंगे, खासकर द्विपद वितरण की सीमाओं पर। फिर भी, एक उदाहरण के रूप में वे आपको दिखाते हैं कि यह तर्क क्यों है कि एक द्विपद वितरण में असममित आत्मविश्वास अंतराल है।

R में एक उदाहरण:

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

नोट : वास्तव में, आर बीटा वितरण का उपयोग करता है, लेकिन यह पूरी तरह से समकक्ष है और कम्प्यूटेशनल रूप से थोड़ा अधिक कुशल है। आर में कार्यान्वयन इस प्रकार है जो मैं यहाँ दिखाता हूं, लेकिन यह बिल्कुल वैसा ही परिणाम देता है।

Comments

क्या आपके कहने का वास्तव में मतलब है कि लॉजिट "द्विपद वितरण को एक सामान्य वितरण में बदल देता है" ??

— व्हिबर

@ शुभकर्ता: सूत्र की अच्छी पकड़, और सूत्रीकरण की अच्छी पकड़। बहुत ज्यादा नहीं। यह सुनिश्चित करता है कि लॉजिस्टिक रिग्रेशन में त्रुटियां सामान्य वितरण का पालन करती हैं। सुधार के लिए Thx।

— जोरिस मेव्स

बस एक संक्षिप्त तकनीकी नोट, "आर्क्सिन" परिवर्तन वह है जिसमें लॉजिस्टिक परिवर्तन की तुलना में सामान्यता में तेजी से अभिसरण होता है। सेट (जहांएक्स"सफलताओंकी संख्या" औरएनपरीक्षणों की संख्या है), और आप तथाकथित "डेल्टा विधि" के साथ दिखा सकते हैं किवाईकाविचरणलगभग स्थिर है (औरवाई सेस्वतंत्र है, जैसा कि इसमें होना चाहिए सामान्य वितरण)। $Y=\frac{2}{\pi}\arcsin{\sqrt{\frac{X}{N}}}$$X$$N$$Y$$Y$

— probabilityislogic

"सटीक संभावनाओं" के लिए आपके द्वारा प्रदान किया गया लिंक टूट गया है। क्या आपके पास एक और है?

— एस। कोलासा - मोनिका

@StephanKolassa आप क्लॉपर पियर्सन फॉर्मूले यहां पा सकते हैं: en.wikipedia.org/wiki/…

— जॉरिस मेय्स

Answer 2

यह देखने के लिए कि यह सममित क्यों नहीं होना चाहिए, उस स्थिति के बारे में सोचें जहां और आपको 10 परीक्षणों में 9 सफलताएं मिलती हैं। फिर पी = 0.9 और के लिए 95% सीआई पी [0.554, 0.997] है। ऊपरी सीमा 1 से अधिक स्पष्ट रूप से नहीं किया जा सकता है, तो अनिश्चितता के अधिकांश के लिए छोड़ दिया करने के लिए पड़ना चाहिए पी ।$p=0.9$$\hat{p}=0.9$$p$$\hat{p}$

Answer 3

@ जोरीस ने सममित या "एसिम्प्टोटिक" अंतराल का उल्लेख किया है, यह सबसे अधिक संभावना है कि आप जो उम्मीद कर रहे हैं। @ जॉरिस ने "सटीक" क्लॉपर-पियर्सन अंतराल का भी उल्लेख किया और आपको एक संदर्भ दिया, जो बहुत अच्छा लग रहा है। अनुपातों के लिए एक और आत्मविश्वास अंतराल है जिसका आप सामना करेंगे (ध्यान दें कि यह सममित भी नहीं है), "विल्सन" अंतराल जो एक प्रकार का स्पर्शोन्मुख अंतराल है जो स्कोर परीक्षण को प्राप्त करने पर आधारित है। अंतराल के अंतिम बिंदुओं का समाधान (में ) समीकरण ( पी - पी ) / $p$

$$(\hat{p} - p)/\sqrt{p(1-p)}=\pm z_{\alpha/2}$$

वैसे भी, आप निम्नलिखित के साथ आर में सभी तीन प्राप्त कर सकते हैं:

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

ध्यान दें कि विधि "विल्सन" एक ही आत्मविश्वास अंतराल है जिसका उपयोग Prop.test द्वारा येट्स की निरंतरता सुधार के बिना किया जाता है:

prop.test(29, 38, correct = FALSE)

लॉरा थॉम्पसन के मुफ्त एसपीएलयूएस + आर मैनुअल के लिए यहां देखें जो एग्रेस्टी के श्रेणीबद्ध डेटा विश्लेषण के साथ है जिसमें इन मुद्दों पर बहुत विस्तार से चर्चा की गई है।

Comments

(+1) अच्छा है कि आप लौरा की पाठ्यपुस्तक का हवाला देते हैं और विल्सन के सीआई के बारे में जानकारी के इस पूरक को जोड़ते हैं।

— CHL

धन्यवाद। मैं यह बताना चाहूंगा कि विल्सन अंतराल की चर्चा उस लेख में की जाती है, जिसमें @ जॉरिस ने संदर्भित किया है।

Answer 4

वहाँ रहे हैं द्विपद वितरण के लिए सममित विश्वास के अंतराल: विषमता, हम पर बाध्य नहीं किया गया सभी कारणों से पहले ही उल्लेख के बावजूद। सममित अंतराल को आमतौर पर उसमें हीन माना जाता है

1. यद्यपि वे संख्यात्मक रूप से सममित हैं, वे प्रायिकता में सममित नहीं हैं : अर्थात्, उनके एक पूंछ वाले आवरण एक दूसरे से भिन्न होते हैं। यह - द्विपद वितरण के संभावित विषमता का एक आवश्यक परिणाम है - इस मामले की जड़ है।

2. अक्सर एक समापन बिंदु अवास्तविक होना चाहिए (0 से कम या 1 से अधिक), जैसा कि @Rob Hyndman बताते हैं।

यह कहने के बाद, मुझे संदेह है कि संख्यात्मक सममित सीआई में कुछ अच्छे गुण हो सकते हैं, जैसे कि कुछ परिस्थितियों में संभावित सममित लोगों की तुलना में कम होना।

Comments

$\hat p = k/n$

@cb मैं इसका पालन नहीं करता। सबसे पहले, कम से कम सीआई के पास प्रत्येक छोर पर समान घनत्व नहीं होगा। दूसरा, "मौजूद नहीं है" के बारे में टिप्पणी का मेरे लिए कोई मतलब नहीं है: "क्या मौजूद नहीं है" का मतलब है?

— whuber

सबसे छोटा CI। किसी दिए गए कवरेज के लिए सबसे कम CI की गणना करने के लिए, मैं अधिकतम घनत्व पर शुरू होता हूं और उस तरफ एक छोटा कदम बढ़ाता हूं जहां घनत्व अधिक होता है। वहां मुझे सबसे अधिक विश्वास कवरेज मिलता है (छोटे कदम के लिए)। जब तक मुझे वांछित क्षेत्र (कवरेज) नहीं मिल जाता है, मैं ci को बार-बार बढ़ाता हूं। यदि मेरे कदम छोटे हैं (इनफ़िनिटिमल) दोनों तरफ घनत्व (लगभग) समान होगा। क्या मैंने इस रणनीति में कोई गलती की?

— कबूतर

मौजूद नहीं है: उदाहरण के लिए 4 सफलताओं में से 5. यह 95% ci के लिए पूछने के लिए समझ में आता है लेकिन अगर मैं सच की संभावना घनत्व की गणना करता हूं $p$ यह देखते हुए कि मैंने 5 परीक्षणों में से 4 सफलताओं को देखा, ऊपर की पूंछ $\hat p = 4/5 = 0.8$केवल 0.35 के बारे में है। इस प्रकार मानने के बजाय सामान्य सन्निकटन कहते हैं कि 95% ci 1.15 तक जाता है (जो सही के रूप में सही नहीं हो सकता है$p$ द्विपद परीक्षण 1 से अधिक नहीं हो सकता है, मैं कहूँगा कि निम्न और उच्चतर की समान चौड़ाई के साथ ci है $p$ केवल आत्मविश्वास के स्तर के लिए मौजूद है $< 70 \%$।

— कबूतर

क्या हम अलग-अलग चीजों के बारे में बात कर रहे हैं? द्विपद वितरण असतत है, एक ci "के लिए होगा$p = 0.8$, 94% दोहराव में हम निरीक्षण करते हैं $k \in \{3, 4, 5\}$ में सफलता $n = 5$ tests". But I understood that we are to estimate $p$ for already observed $n$ and $k$. E.g. $p$ given that $k = 4$ out of $n = 5$ tests were successes. So I'm talking about $Pr (p | n = 5, k = 4)$, $p \in [0, 1]$. This is not the binomial distribution $Pr (k | n, p)$ but that of proportion $p$ (I don't know its name). Please help me to understand why there is no density for this distribution?

— cbeleites supports Monica

Answer 5

Binomial distribution is just not symmetric, yet this fact emerges especially for $p$ near $0$ or $1$ and for small $n$; most people use it for $p\approx 0.5$ and so the confusion.

Answer 6

I know that it has been a while, but I thought that I would chime in here. Given n and p, it is simple to compute the probability of a particular number of successes directly using the binomial distribution. One can then examine the distribution to see that it is not symmetric. It will approach symmetry for large np and large n(1-p).

One can accumulate the probabilities in the tails to compute a particular CI. Given the discrete nature of the distribution, finding a particular probability in a tail (e.g., 2.5% for a 95% CI) will require interpolation between the number of successes. With this method, one can compute CIs directly without approximation (other than the required interpolation).