बहुभिन्नरूपी सामान्य पीछे

Question

यह एक बहुत ही सरल प्रश्न है, लेकिन मैं इंटरनेट या किसी पुस्तक में कहीं भी व्युत्पत्ति नहीं पा सकता हूं। मैं यह देखना चाहता हूं कि कैसे एक बायेसियन एक बहुभिन्नरूपी सामान्य वितरण को अपडेट करता है। उदाहरण के लिए: कल्पना कीजिए

$$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$$

{\ Bf x_1 ... x_n} के सेट का अवलोकन करने के बाद ${\bf x_1 ... x_n}$, मैं \ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) की गणना करना चाहूंगा $\mathbb{P}({\bf \mu | x_1 ... x_n})$। मुझे पता है कि उत्तर $\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$ जहां

$$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$$

मैं सभी मध्यवर्ती मैट्रिक्स बीजगणित के साथ इस परिणाम की व्युत्पत्ति की तलाश कर रहा हूं।

किसी भी प्रकार की मदद की बेहद सराहना की जाती है।

Comments

यह हमारी पुस्तक बायेसियन कोर , चाप में भी हल किया गया है । ३, धारा ३.२, पृष्ठ ५४-५ pages हमारे विचार से विस्तृत मैट्रिक्स बीजगणित है!

— शीआन

ओपी ने कहा कि यह एक होमवर्क समस्या नहीं थी और यहां तक ​​कि यह भी बताया कि उसने यह क्यों पूछा और वह उत्तर का उपयोग कैसे करना चाहता है। इसे दूसरों के लिए पोस्ट क्यों नहीं करते? मैं समझता हूं कि हम एक होमवर्क समस्या को हल करने की सेवा क्यों नहीं देना चाहते हैं लेकिन यह इसे बहुत दूर ले जा रहा है।

— माइकल आर। चेरिक

@ एलेक्स: क्षमा करें, गलत लिंक, मेरा मतलब बायेसियन कोर है । ध्यान दें कि हमने arXiv पर सभी समस्याओं के समाधान भी पोस्ट किए हैं । तो यहाँ एक पूर्ण समाधान पोस्ट करने से चोट नहीं पहुंचेगी!

— शीआन

मैंने टिप्पणियों के उस हिस्से को हटा दिया है जो प्रश्न के निजी उत्तर को साझा करने की व्यवस्था के साथ व्यक्तियों के बीच एक निजी आदान-प्रदान करता है। इस तरह की बात इस साइट को गाली दे रही है, जो सार्वजनिक प्रश्नों और सार्वजनिक उत्तरों के बारे में है।

— whuber

एक FYI के रूप में, व्युत्पत्ति ड्यूडा, हार्ट और स्टॉर्क द्वारा पैटर्न वर्गीकरण में है। हालाँकि, मुझे उनके कुछ चरणों का पालन करने में कठिनाई हो रही थी, जो केवल मेरे लिए मायने रखता है। अगर यह बस होमवर्क था तो कोई भी ठीक वही लिख सकता है जो उनके पास है।

— एलेक्स

Answer 1

हमारे यादृच्छिक वैक्टर पर वितरण के साथ:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

बेयस के नियम से पश्च वितरण इस तरह दिखता है:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

इसलिए:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

गॉसियन का लॉग घनत्व कौन सा है:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

सहसंयोजक मैट्रिक्स के लिए हमारी अभिव्यक्ति पर वुडबरी पहचान का उपयोग करना:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Which provides the covariance matrix in the form the OP wanted. Using this expression (and its symmetry) further in the expression for the mean we have:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Which is the form required by the OP for the mean.