Bayesian विश्लेषण के लिए संभावना बनाम सशर्त वितरण

हम बेयस के प्रमेय को लिख सकते हैं

पी (θ | एक्स) = \frac{च (एक्स | θ) पी (θ)}{\int_{θ} च (एक्स | θ) पी (θ) घ θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

जहाँ पश्च है, the सशर्त वितरण है, और पूर्व है। $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

या

पी (θ | एक्स) = \frac{एल (θ | एक्स) पी (θ)}{\int_{θ} एल (θ | एक्स) पी (θ) घ θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

जहाँ पश्च है, संभावना कार्य है, और पूर्व है। $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

मेरा सवाल यह है कि

क्यों बायेसियन विश्लेषण संभावना समारोह का उपयोग करके किया जाता है न कि सशर्त वितरण?
क्या आप शब्दों में कह सकते हैं कि संभावना और सशर्त वितरण में क्या अंतर है? मुझे पता है कि संभावना एक संभावना वितरण नहीं है और । $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
स्रोत

इसमें कोई फर्क नही है! संभावना है कि सशर्त वितरण the , ठीक है, आनुपातिक है, जो कि सभी मायने रखता है।

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen

पूर्व पैरामीटर में घनत्व । अगर की प्राप्ति महत्व है जबकि एक यादृच्छिक चर का मनाया मूल्य है , तो संभावना फंक्शन का मान है ठीक , मूल्य सशर्त घनत्व के की । अंतर यह है कि के लिए सभी की प्रतीति । हालाँकि, एक समारोह के रूप में

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} च_{एक्स | Θ} (एक्स | Θ = θ) घ एक्स = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (और फिक्स्ड ), है नहीं एक घनत्व:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int एल (θ | एक्स) घ θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— दिलीप Sarwate

जवाबों:

मान लीजिए कि आपके पास दिया यादृच्छिक चर (जिनके मान अपने प्रयोग में देखा जाएगा) जो परिस्थिति के स्वतंत्र हैं, कि के साथ, सशर्त घनत्व , । यह आपके (माने) सांख्यिकीय (सशर्त) मॉडल है, और सशर्त घनत्व प्रत्येक संभव मूल्य के लिए, व्यक्त (यादृच्छिक) के पैरामीटर , के मूल्यों के बारे में अपने अनिश्चितता की, इससे पहले कि आप किसी भी करने के लिए उपयोग कर सकते है वास्तविक डेटा। उदाहरण के लिए, आप कर सकते हैं सशर्त घनत्व की मदद से, सशर्त संभावनाओं की गणना करें $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

पी {{एक्स}_{1} \in {बी}_{1}, ..., {एक्स}_{n} \in {बी}_{n} | Θ = θ} = \int_{{बी}_{1} \times \dots \times {बी}_{n}} Π_{मैं = 1}^{n} च_{{एक्स}_{मैं} | Θ} ({एक्स}_{मैं} | θ) घ {एक्स}_{1} ... घ {एक्स}_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ प्रत्येक ।

θ

$\theta$

के मानों (वास्तविकताओं) के वास्तविक नमूने ) तक के बाद, जिन्हें आपके प्रयोग के एक भाग में देखा गया है, स्थिति बदल जाती है: बारे में अनिश्चितता नहीं है । मान लीजिए कि random कुछ पैरामीटर space में मान लेता है । अब, आप उन ज्ञात (निश्चित) मानों एक फ़ंक्शन द्वारा ध्यान दें कि , जिसे "संभावना फ़ंक्शन" के रूप में जाना जाता है, एक फ़ंक्शन है $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

{एल}_{{एक्स}_{1}, ..., {एक्स}_{n}} : Π \to आर

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

{एल}_{{एक्स}_{1}, ..., {एक्स}_{n}} (θ) = Π_{मैं = 1}^{n} च_{{एक्स}_{मैं} | Θ} ({एक्स}_{मैं} | θ) ।

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ । इस "आपके पास डेटा होने के बाद" स्थिति में, विशेष रूप से सशर्त मॉडल के लिए सम्‍मिलित है , जिस पर हम विचार कर रहे हैं, इस विशेष नमूने में मौजूद पैरामीटर बारे में सभी जानकारी । वास्तव में, ऐसा होता है कि लिए एक पर्याप्त आँकड़ा है ।

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

अपने प्रश्न का उत्तर देते हुए, सशर्त घनत्व और संभावना की अवधारणाओं के बीच के अंतर को समझने के लिए, उनकी गणितीय परिभाषाओं को ध्यान में रखें (जो स्पष्ट रूप से भिन्न हैं: वे अलग-अलग गणितीय वस्तुएं हैं, विभिन्न गुणों के साथ), और यह भी याद रखें कि सशर्त घनत्व एक "पूर्व" है "नमूना" वस्तु / अवधारणा, जबकि संभावना एक "नमूना" के बाद है। मुझे उम्मीद है कि यह सब आपको यह उत्तर देने में भी मदद करेगा कि बायेसियन इनवेंशन (इसे लगाने के आपके तरीके का उपयोग करते हुए, जो मुझे नहीं लगता कि आदर्श है) "लाइसेबिलिटी फ़ंक्शन का उपयोग करके और सशर्त वितरण का उपयोग नहीं किया जाता है": बायेसियन इनवेंशन का लक्ष्य है बाद के वितरण की गणना करने के लिए, और ऐसा करने के लिए हम अवलोकन (ज्ञात) डेटा पर शर्त लगाते हैं ।

— जेन
स्रोत

मुझे लगता है कि ज़ेन सही है जब वह कहता है कि संभावना और सशर्त संभावना अलग हैं। संभावना समारोह में function एक यादृच्छिक चर नहीं है, इस प्रकार यह सशर्त संभावना से अलग है।

— मार्टिन

आनुपातिकता का उपयोग विश्लेषण को सरल बनाने के लिए किया जाता है

$f(X|\theta)$

पी (θ | एक्स) α {एल}_{एक्स} (θ) \cdot पी (θ) {एल}_{एक्स} (θ) α Π_{मैं = 1}^{n} च ({एक्स}_{मैं} | θ) ।

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

$\theta$

$X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} च (एक्स | θ) = Π_{मैं = 1}^{n} च ({एक्स}_{मैं} | θ) & = Π_{मैं = 1}^{n} एन ({एक्स}_{मैं} | θ, 1) \\ = Π_{मैं = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} ({एक्स}_{मैं} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} Σ_{मैं = 1}^{n} ({एक्स}_{मैं} - θ)^{2}) । \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{एक्स} θ + \bar{\bar{एक्स}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{एक्स}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{एक्स} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

$\theta$

{एल}_{एक्स} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{एक्स} θ)) ।

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

$\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} पी (θ | एक्स) & α {एल}_{एक्स} (θ) \cdot पी (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{एक्स} θ)) \cdot एन (θ | 0, λ_{0}) \\ α \exp (- \frac{n}{2} (θ^{2} - 2 \bar{एक्स} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{एक्स} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{एक्स} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{एक्स}}{n + λ_{0}} θ)) \\ α \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{एक्स})^{2}) \\ α एन (θ | \frac{n}{n + λ_{0}} \cdot \bar{एक्स}, n + λ_{0}) । \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

इसलिए, इस कार्य से हम देख सकते हैं कि पीछे वितरण एक सामान्य घनत्व के समानुपाती है। के बाद से पीछे चाहिए होना एक घनत्व यह संकेत मिलता है कि पीछे है कि सामान्य घनत्व:

पी (θ | एक्स) = एन (θ | \frac{n}{n + λ_{0}} \cdot \bar{एक्स}, n + λ_{0}) ।

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

$\theta$

इ (θ | एक्स) = \frac{n}{n + λ_{0}} \cdot \bar{एक्स} वी (θ | एक्स) = \frac{1}{n + λ_{0}} ।

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

अब, हमारे द्वारा प्राप्त किया गया पश्च वितरण इसके सामने के भाग को एकीकृत करता है (जिसे हम सामान्य वितरण के रूप को देखकर आसानी से जान सकते हैं )। लेकिन ध्यान दें कि हमें इस गुणात्मक स्थिरांक के बारे में चिंता करने की ज़रूरत नहीं थी - जब भी यह गणित सरल होता है तो हमारे सभी काम हटाए गए (या लाए गए) गुणक स्थिरांक होते हैं। गुणक स्थिरांक का ट्रैक रखते हुए एक ही परिणाम प्राप्त किया जा सकता है, लेकिन यह बहुत अधिक गड़बड़ है।

— बेन - बहाल मोनिका
स्रोत

$_i$

इस मुद्दे पर संभावना समारोह के बारे में इस साइट पर चर्चा किए गए अन्य प्रश्नों में सामने आया है। इसके अलावा केजेटिल और दिलीप की अन्य टिप्पणियाँ जो मैं कह रहा हूं, उसका समर्थन करते हैं।

— माइकल आर
स्रोत