एक आवृत्ति के बारे में बायेसियन निष्कर्ष में बीटा संयुग्म से पहले समझना

Question

निम्नलिखित बोल्स्ताद के परिचय बायेसियन सांख्यिकी से एक अंश है ।

आप सभी विशेषज्ञों के लिए, यह तुच्छ हो सकता है, लेकिन मुझे यह समझ में नहीं आता है कि लेखक कैसे निष्कर्ष निकालता है कि हमें कुछ मूल्य के लिए पश्च-संभाव्यता की गणना करने के लिए कोई एकीकरण नहीं करना है । मैं दूसरी अभिव्यक्ति को समझता हूं जो आनुपातिकता है और जहां सभी शर्तें आई हैं ( संभावना एक्स प्रायर) । इसके अलावा, मैं समझता हूं, हमें हर के बारे में चिंता करने की ज़रूरत नहीं है क्योंकि केवल अंश सीधे आनुपातिक है। लेकिन तीसरे समीकरण की ओर बढ़ते हुए , क्या हम बेयस नियम के बारे में नहीं भूल रहे हैं? यह कहाँ गया ? और गामा कार्यों द्वारा गणना की गई मान, क्या यह स्थिर नहीं है? बेन्स प्रमेय में स्थिरांक निरस्त नहीं होता है?$\pi$

Comments

केवल एक ही संभव स्थिरांक है, अर्थात् वह जो कार्य को संभाव्यता घनत्व बनाता है।

— शीआन

Answer 1

मुद्दा यह है कि हम जानते हैं कि पोस्टीरियर क्या आनुपातिक है और ऐसा होता है कि हमें (निरंतर) हर को प्राप्त करने के लिए एकीकरण करने की आवश्यकता नहीं है, क्योंकि हम समझते हैं कि संभावना घनत्व साथ आनुपातिक घनत्व फ़ंक्शन के साथ एक वितरण। (जैसे कि पीछे) एक बीटा वितरण है। चूँकि इस तरह के बीटा पीडीएफ के लिए सामान्यीकरण स्थिर है , हम एकीकरण के बिना पीछे के पीडीएफ प्राप्त करते हैं। और हाँ, बेयस प्रमेय में सामान्यीकरण स्थिरांक घनत्व के लिए सामान्यीकरण स्थिरांक की तरह एक स्थिरांक (प्रेक्षित डेटा और पूर्व ग्रहण किया हुआ) है।$x^{\alpha-1} \times (1-x)^{\beta-1}$$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

Answer 2

स्थापित करना

आपके पास यह मॉडल है: वे घनत्व जिनके लिए और विशेष रूप से ध्यान दें कि f(p)=

$$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$$ $$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$$ $$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$$ $$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$$

अंतर्निहित संस्करण

अभी। पूर्ववर्ती वितरण संभावना द्वारा गुणा किए गए पूर्व लिए आनुपातिक है । हम स्थिरांक (यानी ऐसी चीजें जो नहीं हैं ), पैदावार को अनदेखा कर सकते हैं : $f$$g$$p$

$$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$$

इसमें पैरामीटर और साथ एक बीटा वितरण का 'आकार' है , और हम जानते हैं कि उन मापदंडों के साथ बीटा वितरण के लिए संगत सामान्य क्या होना चाहिए: । या, गामा फ़ंक्शंस के संदर्भ में, दूसरे शब्दों में हम बिना किसी अतिरिक्त लेगवर्क के आनुपातिक संबंध से थोड़ा बेहतर कर सकते हैं, और सीधे समानता पर जा सकते हैं: $\alpha + x$$\beta + n - x$$1 / B(\alpha + x, \beta + n - x)$

$$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$$ $$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$$

तो एक बीटा वितरण की संरचना के ज्ञान का उपयोग करने के लिए आसानी से पीछे के लिए एक अभिव्यक्ति को पुनर्प्राप्त कर सकते हैं, बजाय कुछ गन्दा एकीकरण और इस तरह के माध्यम से जा रहा है।

यह संयुक्त वितरण के सामान्यीकरण स्थिरांक को रद्द कर, जो भ्रमित हो सकता है, को रद्द करके पूर्ण रूप से पीछे हो जाता है।

स्पष्ट संस्करण

आप चीजों को प्रक्रियात्मक रूप से बाहर भी पीस सकते हैं, जो स्पष्ट हो सकता है।

यह वास्तव में बहुत लंबा नहीं है। ध्यान दें कि हम संयुक्त वितरण को रूप में व्यक्त कर सकते और के सीमांत वितरण के रूप में

$$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$ $x$ $$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$$

इसलिए हम बायर्स प्रमेय का उपयोग करते हुए पीछे की ओर व्यक्त कर सकते हैं वही चीज़ है जो हमें पहले मिली थी।

$$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$

Answer 3

सामान्य टिप्पणियाँ

@ ब्योर्न द्वारा दिए गए जवाब को थोड़ा और स्पष्ट करने के लिए और एक ही समय में अधिक सामान्य होने पर, हमें याद रखना चाहिए कि हम बेयस प्रमेय से पहुंचे

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (बेय्स थॉम)

जहां देखे गए डेटा का प्रतिनिधित्व करता है और हमारे अज्ञात पैरामीटर को बारे में हम संभावित संभावनाओं के बारे में बताना चाहते हैं - सवाल के मामले में पैरामीटर एक अज्ञात आवृत्ति । आइए अब इसके लिए चिंता न करें कि हम इसे सरल रखने के लिए वैक्टर या स्केलर के बारे में बात कर रहे हैं।$X$$\theta$$\pi$

निरंतर मामले में हाशिए पर ले जाता है

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

जहां संयुक्त वितरण तरह बराबर है जैसा कि हमने ऊपर देखा है। यह एक निरंतरता है क्योंकि 'इंटीग्रेटिंग आउट' पैरामीटर के बाद यह केवल निरंतर शर्तों पर निर्भर करता है ।$p(X,\theta)$$likelihood \times prior$

इसलिए हम कर सकते हैं Bayes प्रमेय को पुन: के रूप में

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ साथ$Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

और इस तरह बेएस प्रमेय के सामान्य आनुपातिक रूप में पहुंचते हैं ।

समस्या एक हाथ करने के लिए आवेदन

अब हम इस बात को समझने के लिए तैयार हैं कि प्रश्न के मामले में से हम क्या जानते हैं$likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

जहाँ , और जहाँ द्विपद की संभावना और बीटा से निरंतर शब्दों को एकत्रित करता है पहले।$a' = a+y$$b' = b+n-y$$A = \frac{1}{B(a,b)}\binom{n}{y}$

अब हम @ ब्योर्न द्वारा दिए गए उत्तर का उपयोग कर सकते हैं ताकि यह पता चल सके कि यह बीटा फ़ंक्शन के साथ निरंतर शब्दों के संग्रह का है।$B(a',b')$$A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

ध्यान दें, कि संयुक्त वितरण में कोई भी स्थिर पद हमेशा के लिए रद्द हो जाएगा, क्योंकि यह एक ही समय में नामांकनकर्ता और भाजक में दिखाई देगा (cf. @jtobin द्वारा दिया गया उत्तर) ताकि हमें वास्तव में परेशान न होना पड़े।

इस प्रकार हम समझते हैं कि हमारा पीछे का वितरण वास्तव में एक बीटा वितरण है जहां हम पूर्व के मापदंडों और को पीछे की तरफ आने के लिए अपडेट कर सकते हैं । यही कारण है कि पहले वितरित किए गए बीटा को पूर्ववर्ती संयुग्म कहा जाता है ।$a' = a+y$$b' = b+n-y$

Comments

यह तर्क जेटोबिन के निहित संस्करण के समान है। हम केवल संभावना समय के कुछ हिस्सों को देखते हैं, जिसमें पैरामीटर शामिल हैं और सामान्यीकरण स्थिरांक में बाकी सब कुछ इकट्ठा करते हैं। इस प्रकार हम एकीकरण को केवल एक अंतिम चरण के रूप में देखते हैं जो कि वैध है, क्योंकि स्थिरांक रद्द कर देते हैं जैसा कि जेटोबिन ने अपने स्पष्ट संस्करण में दिखाया है।

— ग्रेटर