किसी को भी समझा सकता है सरल संभव शब्दों में पादरियों को?

23

मैं कुछ समय के लिए बायेसियन आँकड़ों में संयुग्म पुजारियों के विचार को समझने की कोशिश कर रहा हूं, लेकिन मुझे बस नहीं मिला। क्या कोई इस विचार को सरलतम संभव शब्दों में समझा सकता है, शायद उदाहरण के तौर पर "गाऊसी पूर्व" का उपयोग कर रहा है?

bayesian conditional-probability conjugate-prior

— जेना मैज
स्रोत

23

एक पैरामीटर के लिए पूर्व में लगभग हमेशा कुछ विशिष्ट कार्यात्मक रूप होंगे (घनत्व के संदर्भ में लिखे गए, आमतौर पर)। मान लें कि हम वितरण के एक विशेष परिवार के लिए खुद को सीमित करते हैं, उस स्थिति में उस परिवार के मापदंडों को चुनने के लिए हमारे पूर्व को कम करता है।

उदाहरण के लिए, एक सामान्य मॉडल पर विचार । सरलता के लिए, आइए ज्ञात के रूप में भी लें । मॉडल का यह हिस्सा - डेटा के लिए मॉडल - संभावना फ़ंक्शन को निर्धारित करता है। $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ $\sigma^2$

हमारे बायेसियन मॉडल को पूरा करने के लिए, यहां हमें लिए पूर्व की आवश्यकता है । $\mu$

जैसा कि ऊपर उल्लेख किया गया है, आमतौर पर हम लिए हमारे पूर्व के लिए कुछ वितरण परिवार निर्दिष्ट कर सकते हैं और फिर हमें केवल उस वितरण के मापदंडों को चुनना होगा (उदाहरण के लिए, अक्सर पूर्व जानकारी काफी अस्पष्ट हो सकती है - जैसे कि जहां हम ध्यान केंद्रित करने की संभावना चाहते हैं - बहुत विशिष्ट कार्यात्मक रूप के बजाय, और हमारे पास पर्याप्त स्वतंत्रता हो सकती है कि हम क्या चाहते हैं कि हम मापदंडों का चयन करके - एक पूर्व माध्य और भिन्नता से मेल खाने के लिए कहें)। $\mu$

यदि यह पता चला है कि लिए पीछे वाला एक ही परिवार से है, तो उस पूर्व को "संयुग्म" कहा जाता है। $\mu$

(क्या यह संयुग्म होने की संभावना को जोड़ती है जिस तरह से यह संभावना के साथ जोड़ती है)

तो इस मामले में, के लिए एक गाऊसी पहले लेते हैं (कहना )। यदि हम ऐसा करते हैं, तो हम देखते हैं कि लिए पश्चगामी भी गॉसियन है। नतीजतन, गॉसियन पूर्व हमारे मॉडल के लिए एक संयुग्म पूर्व था। $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$

यह सब वहाँ वास्तव में है - अगर पीछे एक ही परिवार से पूर्व के रूप में है, यह एक संयुग्म पूर्व है।

सरल मामलों में आप संभावना के निरीक्षण से पहले एक संयुग्म की पहचान कर सकते हैं। उदाहरण के लिए, एक द्विपद संभावना पर विचार करें; स्थिरांक को छोड़ने पर, यह में एक बीटा घनत्व जैसा दिखता है ; और और की शक्तियों के संयोजन के कारण, यह एक बीटा से पहले गुणा करेगा और की शक्तियों का एक उत्पाद देने के लिए ... इसलिए हम तुरंत संभावना से देख सकते हैं कि बीटा द्विपद संभावना में लिए पहले एक संयुग्म होगा । $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

गाऊसी मामले में यह देखना आसान है कि यह लॉग-डेन्सिटी और लॉग-लाइबिलिटी पर विचार करके होगा; लॉग-लाइकैलिटी में द्विघात होगा और दो क्वाड्रैटिक्स का योग द्विघात है, इसलिए एक द्विघात लॉग-पूर्व + द्विघात लॉग-समानता एक द्विघात पोस्टीरियर देता है (उच्चतम क्रम अवधि के प्रत्येक गुणांक निश्चित रूप से नकारात्मक होगा)। $\mu$

— Glen_b -Reinstate मोनिका
स्रोत

9

यदि आपका मॉडल, के अंतर्गत आता है, तो घातीय परिवार , कि है, अगर वितरण का घनत्व फार्म की है

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$ एक के संबंध मेंदिए गए हावी उपाय(Lebesgue, गिनती, और टीसी।), जहां

t \cdot s

$t\cdot s$ अर्थ है एक अदिश से अधिक उत्पाद

R^{d}

$\mathbb{R}^d$ और

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$ औसत दर्जे का काम करता है, पर संयुग्म महंतों हैं

θ

$\theta$ प्रपत्र के घनत्व द्वारा परिभाषित कर रहे

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$ [एक के संबंध मेंमनमाने ढंग से चुने हुए हावी उपाय

d ν

$\text{d}\nu$ पर

Θ

$\Theta$ साथ]

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$ और

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$ ,

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

पुरोहितों के परिवार के लिए वर्चस्वकारी उपाय का चुनाव निर्धारक है। उदाहरण के लिए यदि कोई व्यक्ति ग्लेन_ब के उत्तर में $\mu$ पर सामान्य मतलब की संभावना का सामना करता है, तो लेब्सगर्ल उपाय $\text{d}\mu$ करता है क्योंकि हावी होने के कारण सामान्य पुजारी संयुग्मित हो जाते हैं। बजाय एक चुनता है $(1+\mu^2)^{-2}\text{d}\mu$ हावी उपाय के रूप में, संयुग्म महंतों घनत्व के साथ वितरण के परिवार के भीतर हैं

\exp {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in R

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ के साथ इस हावी उपाय के संबंध में, और इस तरह अब सामान्य महंतों हैं। यह कठिनाई अनिवार्य रूप से इस पैरामीटर के लिए लेबेस लीग उपाय के लिए संभावना के एक विशेष पैरामीटर को चुनने और ओप्टींग को चुनने के समान है। जब एक संभावना समारोह का सामना करना पड़ता है, तो पैरामीटर स्पेस पर कोई अंतर्निहित (या आंतरिक या संदर्भ) हावी होने वाला उपाय नहीं होता है।

इस घातीय पारिवारिक सेटिंग के बाहर, एक निश्चित समर्थन के साथ वितरण का कोई गैर-तुच्छ परिवार नहीं है जो संयुग्मक पुजारियों के लिए अनुमति देता है। यह डार्मोइस-पिटमैन-कोपमैन लेम्मा का एक परिणाम है ।

— शीआन
स्रोत

11

"सबसे सरल संभव शब्दों में?" शायद एक स्पष्टीकरण जो उपायों के पूर्व ज्ञान को नहीं मानता है, वह ओपी के लिए अधिक उपयोगी होगा।

3

अफसोस, मुझे डर है कि संयुग्मक पादरी एक माप पृष्ठभूमि के बिना निरर्थक हैं (भले ही यह ब्रह्मांड में सबसे अच्छा रखा गया रहस्य है)।

— शीआन

6

मेरी राय में, "सरलतम संभव शब्द" व्याख्या के लिए खुला है, और एक स्पष्टीकरण जो उन्नत गणित का उपयोग करता है जैसे कि माप सिद्धांत अभी भी कुछ अर्थों में "सरल" हो सकता है, शायद एक स्पष्टीकरण से भी "सरल" जो इस तरह की मशीनरी से बचा जाता है। किसी भी मामले में, इस तरह की व्याख्या किसी ऐसे व्यक्ति के लिए बहुत ज्ञानवर्धक हो सकती है, जिसके पास इसे समझने के लिए आवश्यक पृष्ठभूमि हो, और किसी विषय की व्याख्या करने के लिए विभिन्न तरीकों की सूची में इस तरह से उत्तर शामिल करना हानिरहित है। हम न केवल ओपी के लिए बल्कि भविष्य के सभी पाठकों के लिए उत्तर लिखते हैं।

— छोटू

1

अगर आप एक या एक से अधिक प्रश्नों से जुड़ सकते हैं, तो आपको लगता है कि यह उत्तर विषय पर और अधिक उपयुक्त स्तर पर होगा। कृपया ध्यान रखें कि "सरल" एक अच्छी तरह से परिभाषित शब्द नहीं है और इसमें व्यक्तिपरक व्याख्याएं हैं। भले ही, यह आपकी टिप्पणियों द्वारा सुझाए गए "गणितीय रूप से अपरिष्कृत," के साथ भ्रमित करने के लिए अमान्य होगा।

— whuber

2

शीआन का जवाब मेरे लिए बेकार नहीं है। मैंने कुछ सीखा।

— छोटू

2

I like using the notion of a "kernel" of a distribution. This is where you only leave in the parts that depend on the parameter. A few simple examples.

p (μ | a, b) = K^{- 1} \times \exp (a μ^{2} + b μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$ Where

K

$K$ is the "normalising constant"

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

Beta kernel

p (θ | a, b) = K^{- 1} \times θ^{a} (1 - θ)^{b}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$ Where

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

When we look at the likelihood function, we can do the same thing, and express it in "kernel form". For example with iid data

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = Q \times f (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

For some constant $Q$ and some function $f(\mu)$ . If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = [\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}}] \times \prod_{i = 1}^{n} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2} - 2 x_{i} μ + μ^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2}}{2}) \times \exp (μ \sum_{i = 1}^{n} x_{i} - μ^{2} \frac{n}{2}) = Q \times \exp (a μ^{2} + b μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$ , so a conjugate prior for this likelihood is also the normal distribution.

p (μ | a_{0}, b_{0}) = K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$ The posterior is then

p (μ | D, a_{0}, b_{0}) \propto K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ) \times Q \times \exp (a μ^{2} + b μ) = K_{0}^{- 1} \times Q \times \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ) \propto \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

— probabilityislogic
स्रोत

1

(+1) I appreciate the pseudo-data intuition!

— Xi'an

1

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— Thomas G.
स्रोत

How does this explain what a conjugate prior is?

— LBogaardt

ok I'll edit that.

— Thomas G.