बहुभिन्नरूपी सामान्य वितरण के सशर्त वितरण को वितरित करना

Question

हमारे पास एक बहुभिन्नरूपी सामान्य वेक्टर । विभाजन पर विचार करें और में ${\boldsymbol Y} \sim \mathcal{N}(\boldsymbol\mu, \Sigma)$$\boldsymbol\mu$${\boldsymbol Y}$

$$\boldsymbol\mu = \begin{bmatrix} \boldsymbol\mu_1 \\ \boldsymbol\mu_2 \end{bmatrix}$$ $${\boldsymbol Y}=\begin{bmatrix}{\boldsymbol y}_1 \\ {\boldsymbol y}_2 \end{bmatrix}$$

की एक ऐसी ही विभाजन के साथ में फिर, , दूसरे दिए गए पहले विभाजन का सशर्त वितरण, , माध्य और सहसंयोजक मैट्रिक्स $\Sigma$

$$\begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} \end{bmatrix}$$ $({\boldsymbol y}_1|{\boldsymbol y}_2={\boldsymbol a})$$\mathcal{N}(\overline{\boldsymbol\mu},\overline{\Sigma})$
$$\overline{\boldsymbol\mu}=\boldsymbol\mu_1+\Sigma_{12}{\Sigma_{22}}^{-1}({\boldsymbol a}-\boldsymbol\mu_2)$$ $$\overline{\Sigma}=\Sigma_{11}-\Sigma_{12}{\Sigma_{22}}^{-1}\Sigma_{21}$$

वास्तव में ये परिणाम विकिपीडिया में भी प्रदान किए गए हैं, लेकिन मुझे नहीं पता कि कैसे $\overline{\boldsymbol\mu}$ और $\overline{\Sigma}$ की व्युत्पत्ति की जाती है। ये परिणाम महत्वपूर्ण हैं, क्योंकि वे कलमन फ़िल्टर प्राप्त करने के लिए महत्वपूर्ण सांख्यिकीय सूत्र हैं । किसी को भी मुझे पाने की व्युत्पत्ति चरणों प्रदान करेगा $\overline{\boldsymbol\mu}$ और $\overline{\Sigma}$ ? आपका बहुत बहुत धन्यवाद!

Comments

यह विचार सशर्त घनत्व की परिभाषा का उपयोग करने के लिए है । आप जानते हैं कि संयुक्त एक सामान्य है और यह कि सीमांत एक सामान्य है तो आपको बस मूल्यों को बदलना होगा और अप्रिय बीजगणित करना होगा। इन नोटों से कुछ मदद मिल सकती है। यहाँ पूर्ण प्रमाण है। $f(y_1\vert y_2=a)=\dfrac{f_{Y_1,Y_2}(y_1,a)}{f_{Y_2}(a)}$$f_{Y_1,Y_2}$$f_{Y_2}$

आपका दूसरा लिंक प्रश्न (+1) का उत्तर देता है। क्यों नहीं इसे एक उत्तर के रूप में रखा गया है @Procrastinator?

— गुई ११

मुझे इसका अहसास नहीं था, लेकिन मुझे लगता है कि मैं सशर्त पीसीए में इस समीकरण का उपयोग कर रहा था। सशर्त पीसीए के लिए एक परिवर्तन की आवश्यकता होती है जो प्रभावी रूप से सशर्त सहसंयोजक मैट्रिक्स की गणना कर रहा है जो ए$\left(I-A'\left(AA'\right)^{-1}A\right)\Sigma$

— जॉन

@Procrastinator - आपके दृष्टिकोण को वास्तव में वुडबरी मैट्रिक्स पहचान की जानकारी, और ब्लॉक-वार मैट्रिक्स व्युत्क्रम के ज्ञान की आवश्यकता होती है। ये अनावश्यक रूप से जटिल मैट्रिक्स बीजगणित में परिणाम करते हैं।

— probabilityislogic

@probabilityislogic वास्तव में मेरे द्वारा दिए गए लिंक में परिणाम सिद्ध होता है। लेकिन यह सम्मानजनक है यदि आप इसे अन्य तरीकों से अधिक जटिल पाते हैं। इसके अलावा, मैं अपनी टिप्पणी में एक इष्टतम समाधान प्रदान करने का प्रयास नहीं कर रहा था । साथ ही, मेरी टिप्पणी मैक्रों के जवाब (जो मैं देख सकता हूं, के रूप में उठी थी) से पहले थी।

Answer 1

आप स्पष्ट रूप से जानवर बल द्वारा सशर्त घनत्व की गणना करके इसे साबित कर सकते हैं, जैसा कि टिप्पणियों में प्रोक्रिस्टिनेटर के लिंक (+1) में है। लेकिन, एक प्रमेय भी है जो कहता है कि एक बहुभिन्नरूपी सामान्य वितरण के सभी सशर्त वितरण सामान्य हैं। इसलिए, जो कुछ बचा है, उसका मतलब वेक्टर और कोवरियन मैट्रिक्स की गणना करना है। मुझे याद है कि हमने कॉलेज में एक समय श्रृंखला वर्ग में चतुर्थ चर को चतुराई से परिभाषित करके और इसके गुणों का उपयोग करके लिंक में ब्रूट बल समाधान की तुलना में अधिक परिणाम प्राप्त किया (जब तक आप मैट्रिक्स बीजगणित के साथ सहज हों)। मैं स्मृति से जा रहा हूँ लेकिन यह कुछ इस तरह था:

---

चलो पहले विभाजन और हो दूसरा। अब को परिभाषित करें जहां । अब हम लिख सकते हैं${\bf x}_{1}$${\bf x}_2$${\bf z} = {\bf x}_1 + {\bf A} {\bf x}_2$${\bf A} = -\Sigma_{12} \Sigma^{-1}_{22}$

$$\begin{align*} {\rm cov}({\bf z}, {\bf x}_2) &= {\rm cov}( {\bf x}_{1}, {\bf x}_2 ) + {\rm cov}({\bf A}{\bf x}_2, {\bf x}_2) \\ &= \Sigma_{12} + {\bf A} {\rm var}({\bf x}_2) \\ &= \Sigma_{12} - \Sigma_{12} \Sigma^{-1}_{22} \Sigma_{22} \\ &= 0 \end{align*}$$

इसलिए और असंबंधित हैं और, चूंकि वे संयुक्त रूप से सामान्य हैं, इसलिए वे स्वतंत्र हैं । अब, स्पष्ट रूप से , इसलिए यह इस प्रकार है कि${\bf z}$${\bf x}_2$$E({\bf z}) = {\boldsymbol \mu}_1 + {\bf A} {\boldsymbol \mu}_2$

$$\begin{align*} E({\bf x}_1 | {\bf x}_2) &= E( {\bf z} - {\bf A} {\bf x}_2 | {\bf x}_2) \\ & = E({\bf z}|{\bf x}_2) - E({\bf A}{\bf x}_2|{\bf x}_2) \\ & = E({\bf z}) - {\bf A}{\bf x}_2 \\ & = {\boldsymbol \mu}_1 + {\bf A} ({\boldsymbol \mu}_2 - {\bf x}_2) \\ & = {\boldsymbol \mu}_1 + \Sigma_{12} \Sigma^{-1}_{22} ({\bf x}_2- {\boldsymbol \mu}_2) \end{align*}$$

जो पहले भाग को सिद्ध करता है। सहसंयोजक मैट्रिक्स के लिए, ध्यान दें

$$\begin{align*} {\rm var}({\bf x}_1|{\bf x}_2) &= {\rm var}({\bf z} - {\bf A} {\bf x}_2 | {\bf x}_2) \\ &= {\rm var}({\bf z}|{\bf x}_2) + {\rm var}({\bf A} {\bf x}_2 | {\bf x}_2) - {\bf A}{\rm cov}({\bf z}, -{\bf x}_2) - {\rm cov}({\bf z}, -{\bf x}_2) {\bf A}' \\ &= {\rm var}({\bf z}|{\bf x}_2) \\ &= {\rm var}({\bf z}) \end{align*}$$

अब हम लगभग हो चुके हैं:

$$\begin{align*} {\rm var}({\bf x}_1|{\bf x}_2) = {\rm var}( {\bf z} ) &= {\rm var}( {\bf x}_1 + {\bf A} {\bf x}_2 ) \\ &= {\rm var}( {\bf x}_1 ) + {\bf A} {\rm var}( {\bf x}_2 ) {\bf A}' + {\bf A} {\rm cov}({\bf x}_1,{\bf x}_2) + {\rm cov}({\bf x}_2,{\bf x}_1) {\bf A}' \\ &= \Sigma_{11} +\Sigma_{12} \Sigma^{-1}_{22} \Sigma_{22}\Sigma^{-1}_{22}\Sigma_{21} - 2 \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \\ &= \Sigma_{11} +\Sigma_{12} \Sigma^{-1}_{22}\Sigma_{21} - 2 \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \\ &= \Sigma_{11} -\Sigma_{12} \Sigma^{-1}_{22}\Sigma_{21} \end{align*}$$

जो दूसरे भाग को सिद्ध करता है।

नोट: यहां उपयोग किए जाने वाले मैट्रिक्स बीजगणित से बहुत परिचित नहीं लोगों के लिए, यह एक उत्कृष्ट संसाधन है ।

संपादित करें: यहां उपयोग की गई एक संपत्ति मैट्रिक्स कुकबुक में नहीं है (अच्छी पकड़ @FlyingPig) गुणात्मक पृष्ठ पर covariance matrices के बारे में संपत्ति 6 ​​है: जो कि दो यादृच्छिक वैक्टर , स्केलर के लिए, निश्चित रूप से, लेकिन वैक्टर के लिए वे अलग-अलग इंसोफर होते हैं क्योंकि मैट्रिसेस को अलग तरीके से व्यवस्थित किया जाता है।$\bf x, y$

$${\rm var}({\bf x}+{\bf y}) = {\rm var}({\bf x})+{\rm var}({\bf y}) + {\rm cov}({\bf x},{\bf y}) + {\rm cov}({\bf y},{\bf x})$$ ${\rm cov}(X,Y)={\rm cov}(Y,X)$

Comments

इस शानदार विधि के लिए धन्यवाद! वहाँ एक मैट्रिक्स बीजगणित मेरे लिए परिचित नहीं लगता है, जहाँ मैं खोलने का सूत्र ढूँढ सकता हूँ ? मैंने इसे आपके द्वारा भेजे गए लिंक पर नहीं पाया है। $var(x_1+Ax_2)$

— फ्लाइंग पिग

@ फ़ेंसिंगपिग, आपका स्वागत है। मेरा मानना ​​है कि यह समीकरणों का परिणाम है मैट्रिक्स कुकबुक में नहीं लिखे गए यादृच्छिक वैक्टर के योग के अतिरिक्त संपत्ति के साथ - मैंने इस तथ्य को अपने उत्तर में जोड़ दिया है - पकड़ने के लिए धन्यवाद उस! $(291),(292)$

— मैक्रो

यह एक बहुत अच्छा उत्तर (+1) है, लेकिन दृष्टिकोण के आदेश के संदर्भ में इसमें सुधार किया जा सकता है। हम कह हम एक रेखीय संयोजन चाहते हैं के साथ शुरू पूरे वेक्टर के स्वतंत्र / साथ असहसंबद्ध है कि । ऐसा इसलिए है क्योंकि हम इस तथ्य का उपयोग कर सकते हैं कि जिसका अर्थ है और । ये बदले में और लिए अभिव्यक्ति का कारण । इसका मतलब है कि हमें लेना चाहिए । अब हमें । अगर हमारे पास है$z=Cx=C_1x_1+C_2x_2$$x_2$$p(z|x_2)=p(z)$$var(z|x_2)=var(z)$$E(z|x_2)=E(z)$$var(C_1x_1|x_2)$$E(C_1x_1|x_2)$$C_1=I$$cov(z,x_2)=\Sigma_{12}+C_2\Sigma_{22}=0$$\Sigma_{22}$$C_2=-\Sigma_{12}\Sigma_{22}^{-1}$ ।

— probabilityislogic

@ जेकॉन्ग - यह साबित नहीं कर रहा है कि , इसे इस मूल्य पर सेट कर रहा है, ताकि हमें एक अभिव्यक्ति मिले जिसमें वे चर हैं जिनके बारे में हम जानना चाहते हैं। $C_1=I$

— probabilityislogic

@ जेकॉन्ग मैं भी उस बयान को काफी नहीं समझता। मैं इस तरह से समझता हूं: यदि , तो । तो का मान किसी तरह से एक मनमाना पैमाना है। इसलिए हमने सरलता के लिए निर्धारित किया है । $cov(z, x_2)=0$$cov(C_1^{-1} z, x_2) = C_1^{-1} cov( z, x_2)=0$$C_1$$C_1=I$

— केन टी

Answer 2

मैक्रों का जवाब बहुत अच्छा है, लेकिन यहां एक और भी सरल तरीका है जिससे आपको सशर्त वितरण का दावा करने वाले किसी भी बाहरी प्रमेय का उपयोग करने की आवश्यकता नहीं है। इसमें महानलोबिस दूरी को एक ऐसे रूप में लिखना शामिल है जो कंडीशनिंग स्टेटमेंट के लिए तर्क चर को अलग करता है, और फिर सामान्य घनत्व को तदनुसार निर्धारित करता है।

---

एक सशर्त वेक्टर के लिए महानलोबिस दूरी को फिर से शुरू करना: यह व्युत्पत्ति एक मैट्रिक्स व्युत्क्रम सूत्र का उपयोग करती है जो Schur पूरक । हम पहले उलटा-उलटा मैट्रिक्स लिखने के लिए ब्लॉकवाइज इनवर्जन फॉर्मूला का उपयोग करते हैं :$\boldsymbol{\Sigma}_\text{S} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}$

$$\begin{equation} \begin{aligned} \boldsymbol{\Sigma}^{-1} = \begin{bmatrix} \boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22} \\ \end{bmatrix}^{-1} = \begin{bmatrix} \boldsymbol{\Sigma}_{11}^* & \boldsymbol{\Sigma}_{12}^* \\ \boldsymbol{\Sigma}_{21}^* & \boldsymbol{\Sigma}_{22}^* \\ \end{bmatrix}, \end{aligned} \end{equation}$$

कहाँ पे:

$$\begin{equation} \begin{aligned} \begin{matrix} \boldsymbol{\Sigma}_{11}^* = \boldsymbol{\Sigma}_\text{S}^{-1} \text{ } \quad \quad \quad \quad & & & & & \boldsymbol{\Sigma}_{12}^* = -\boldsymbol{\Sigma}_\text{S}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}, \quad \quad \quad \\[6pt] \boldsymbol{\Sigma}_{21}^* = - \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_\text{S}^{-1} & & & & & \boldsymbol{\Sigma}_{22}^* = \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_\text{S}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}. \text{ } \\[6pt] \end{matrix} \end{aligned} \end{equation}$$

इस सूत्र का उपयोग करके अब हम महानलोबिस दूरी को इस प्रकार लिख सकते हैं:

$$\begin{equation} \begin{aligned} (\boldsymbol{y} - \boldsymbol{\mu})^\text{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{y} - \boldsymbol{\mu}) &= \begin{bmatrix} \boldsymbol{y}_1 - \boldsymbol{\mu}_1 \\ \boldsymbol{y}_2 - \boldsymbol{\mu}_2 \end{bmatrix}^\text{T} \begin{bmatrix} \boldsymbol{\Sigma}_{11}^* & \boldsymbol{\Sigma}_{12}^* \\ \boldsymbol{\Sigma}_{21}^* & \boldsymbol{\Sigma}_{22}^* \\ \end{bmatrix} \begin{bmatrix} \boldsymbol{y}_1 - \boldsymbol{\mu}_1 \\ \boldsymbol{y}_2 - \boldsymbol{\mu}_2 \end{bmatrix} \\[6pt] &= \quad (\boldsymbol{y}_1 - \boldsymbol{\mu}_1)^\text{T} \boldsymbol{\Sigma}_{11}^* (\boldsymbol{y}_1 - \boldsymbol{\mu}_1) + (\boldsymbol{y}_1 - \boldsymbol{\mu}_1)^\text{T} \boldsymbol{\Sigma}_{12}^* (\boldsymbol{y}_2 - \boldsymbol{\mu}_2) \\[6pt] &\quad + (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)^\text{T} \boldsymbol{\Sigma}_{21}^* (\boldsymbol{y}_1 - \boldsymbol{\mu}_1) + (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)^\text{T} \boldsymbol{\Sigma}_{22}^* (\boldsymbol{y}_2 - \boldsymbol{\mu}_2) \\[6pt] &= (\boldsymbol{y}_1 - (\boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)))^\text{T} \boldsymbol{\Sigma}_\text{S}^{-1} (\boldsymbol{y}_1 - (\boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2))) \\[6pt] &= (\boldsymbol{y}_1 - \boldsymbol{\mu}_*)^\text{T} \boldsymbol{\Sigma}_*^{-1} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*), \\[6pt] \end{aligned} \end{equation}$$

कहाँ पे:

$$\begin{equation} \begin{aligned} \boldsymbol{\mu}_* &\equiv \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2), \\[8pt] \boldsymbol{\Sigma}_* &\equiv \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}. \\[6pt] \end{aligned} \end{equation}$$

ध्यान दें कि यह परिणाम एक सामान्य परिणाम है जो यादृच्छिक वैक्टर की सामान्यता को नहीं मानता है। यह महानलोबिस दूरी को फिर से तैयार करने का एक उपयोगी तरीका देता है ताकि यह विघटन में केवल एक वैक्टर के संबंध में एक द्विघात रूप हो और दूसरे का मतलब वेक्टर और विचरण मैट्रिक्स में अवशोषित हो)।

---

सशर्त वितरण को वितरित करना: अब जब हमारे पास महालनोबिस दूरी के लिए उपरोक्त रूप है, तो बाकी आसान है। हमारे पास है:

$$\begin{equation} \begin{aligned} p(\boldsymbol{y}_1 | \boldsymbol{y}_2, \boldsymbol{\mu}, \boldsymbol{\Sigma}) &\overset{\boldsymbol{y}_1}{\propto} p(\boldsymbol{y}_1 , \boldsymbol{y}_2 | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \\[12pt] &= \text{N}(\boldsymbol{y} | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \\[10pt] &\overset{\boldsymbol{y}_1}{\propto} \exp \Big( - \frac{1}{2} (\boldsymbol{y} - \boldsymbol{\mu})^\text{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{y} - \boldsymbol{\mu}) \Big) \\[6pt] &= \exp \Big( - \frac{1}{2} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*)^\text{T} \boldsymbol{\Sigma}_*^{-1} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*) \Big) \\[6pt] &\overset{\boldsymbol{y}_1}{\propto}\text{N}(\boldsymbol{y}_1 | \boldsymbol{\mu}_*, \boldsymbol{\Sigma}_*). \\[6pt] \end{aligned} \end{equation}$$

यह निर्धारित करता है कि सशर्त वितरण भी सामान्य रूप से बहुभिन्नरूपी है, निर्दिष्ट सशर्त माध्य वेक्टर और सशर्त विचरण मैट्रिक्स के साथ।