सशर्त गाऊसी वितरण के पीछे अंतर्ज्ञान क्या है?

Question

मान लीजिए कि । फिर के सशर्त वितरण को हुए कि सामान्य रूप से बहुभिन्नरूपी वितरित किया जाता है:$\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$$X_1$$X_2 = x_2$

$$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$$

और विचरण:

$${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$$

यह समझ में आता है कि जब हमारे पास अधिक जानकारी होगी, तो विचरण कम हो जाएगा। लेकिन माध्य सूत्र के पीछे अंतर्ज्ञान क्या है? और कारक के बीच कैसे होता है?एक्स $X_1$$X_2$

Comments

क्या आपका प्रश्न बस 'सशर्त वितरण का अर्थ = ' क्यों नहीं है? $\mu_1$

— गुंग - को पुनः स्थापित मोनिका

@ गुड़: यह सच है अगर । लेकिन क्यों और शामिल हैं? σ 11 σ $x_2 = \mu_2$$\sigma_{11}$$\sigma_{22}$

— eroeijr

प्राकृतिक ("मानकीकृत") इकाइयों में हम जहाँ । इन शब्दों में सशर्त वितरण औरतथ्य यह है कि कहा जाता है "मतलब प्रत्यावर्तन" या "मतलब के लिए प्रतिगमन" : यह वापस 130 वर्षों के लिए जा रहा पर एक व्यापक तकनीकी और लोकप्रिय साहित्य नहीं है। σ मैं = $X_i=\mu_1+\sigma_iZ_i$ ई(जेड1|जेड2)=ρजेड2ρ=σ12/(σ1σ2)। | ρ| ≤$\sigma_i=\sqrt{\sigma_{ii}}$$\mathbb{E}(Z_1|Z_2)=\rho Z_2$$\rho=\sigma_{12}/(\sigma_1\sigma_2).$$|\rho|\le 1$

— whuber

कहो, eroeijr, क्या यह पोस्ट आपकी है? (शुरुआत में 'अतिथि' के अलावा नामों में एक अलग समानता है।) यदि यह आपका है तो आपको दो खातों को मर्ज करने के लिए कहना चाहिए और उन बड़े बोनस को अंकों में लेना चाहिए।

— Glen_b

जैसा कि @Glen_b ने सुझाव दिया है, यदि आपके पास कई (अपंजीकृत) खाते हैं, तो कृपया आँकड़े .stackexchange.com / contact पर फ़ॉर्म को पूरा करें और अनुरोध करें कि उनका विलय किया जाए।

— chl

Answer 1

सार

प्रश्न के प्रत्येक कथन को दीर्घवृत्त की संपत्ति के रूप में समझा जा सकता है। केवल संपत्ति द्विचर सामान्य वितरण की आवश्यकता होती करने के लिए विशेष रूप से तथ्य यह है कि एक में है मानक के द्विचर सामान्य वितरण जो --FOr और uncorrelated हैं - की सशर्त विचरण पर निर्भर नहीं करता । (यह बदले में इस तथ्य का एक तात्कालिक परिणाम है कि सहसंबंध की कमी संयुक्त रूप से सामान्य चर के लिए स्वतंत्रता का अर्थ है।)एक्स वाई वाई वाई $X,Y$$X$$Y$$Y$$X$

निम्नलिखित विश्लेषण से पता चलता है कि दीर्घवृत्त की क्या संपत्ति शामिल है और प्रारंभिक विचारों और सरलतम संभव अंकगणित का उपयोग करके प्रश्न के सभी समीकरणों को व्युत्पन्न करता है, एक तरह से आसानी से याद किया जा सकता है।

---

परिपत्र सममित वितरण

प्रश्न का वितरण बिवरिएट सामान्य वितरण के परिवार का एक सदस्य है। वे सभी एक मूल सदस्य से व्युत्पन्न हैं, मानक द्विभाजन सामान्य, जिसमें दो असंबद्ध मानक सामान्य वितरण (इसके दो निर्देशांक) का वर्णन है।

बाईं ओर मानक बिवरेट सामान्य घनत्व का एक राहत भूखंड है। दाईं ओर छद्म 3 डी में एक ही दिखाता है, सामने का भाग कटा हुआ है।

यह एक गोलाकार सममित वितरण का एक उदाहरण है : घनत्व एक केंद्रीय बिंदु से दूरी के साथ बदलता रहता है लेकिन उस बिंदु से दूर की दिशा के साथ नहीं। इस प्रकार, इसके ग्राफ (दाईं ओर) की आकृति वृत्त हैं।

अधिकांश अन्य बीवरिएट सामान्य वितरण गोलाकार सममित नहीं हैं, हालांकि: उनके क्रॉस-सेक्शन दीर्घवृत्त हैं। ये दीर्घवृत्त कई बीवरिएट बिंदु बादलों की विशेषता आकृति को दर्शाते हैं।

ये सहसंयोजक मैट्रिक्स _) के साथ bivariate सामान्य वितरण के चित्र हैं। यह सहसंबंध गुणांक साथ डेटा के लिए एक मॉडल है ।-2/$\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$$-2/3$

---

एलिप्स कैसे बनाएँ

एक दीर्घवृत्त - इसकी सबसे पुरानी परिभाषा के अनुसार - एक शंकुधारी खंड है, जो किसी अन्य विमान पर एक प्रक्षेपण द्वारा विकृत एक चक्र है। प्रक्षेपण की प्रकृति पर विचार करके, जैसा कि दृश्य कलाकार करते हैं, हम इसे विकृतियों के एक क्रम में विघटित कर सकते हैं, जिन्हें समझना और गणना करना आसान है।

सबसे पहले, खिंचाव (या, यदि आवश्यक हो, निचोड़) सर्कल के साथ क्या दीर्घवृत्त की लंबी धुरी बन जाएगा जब तक यह सही लंबाई नहीं है:

अगला, निचोड़ (या खिंचाव) अपनी छोटी धुरी के साथ इस दीर्घवृत्त:

तीसरा, इसे अपने केंद्र के चारों ओर अपने अंतिम अभिविन्यास में घुमाएं:

अंत में, इसे इच्छित स्थान पर शिफ्ट करें:

ये सभी एफाइन ट्रांसफ़ॉर्मेशन हैं। (वास्तव में, पहले तीन रेखीय परिवर्तन हैं ; अंतिम बदलाव इसे चक्करदार बनाता है।) क्योंकि affine परिवर्तनों की एक संरचना (परिभाषा के अनुसार) अभी भी चक्कर है, सर्कल से अंतिम दीर्घवृत्त के लिए शुद्ध विरूपण एक affine परिवर्तन है। लेकिन यह कुछ हद तक जटिल हो सकता है:

ध्यान दें कि दीर्घवृत्त (प्राकृतिक) कुल्हाड़ियों का क्या हुआ: शिफ्ट और निचोड़ द्वारा बनाए जाने के बाद, वे (निश्चित रूप से) घुमाए गए और अक्ष के साथ ही स्थानांतरित हो गए। हम आसानी से इन कुल्हाड़ियों को तब भी देखते हैं जब वे खींची नहीं जाती हैं, क्योंकि वे स्वयं दीर्घवृत्त के समरूपता के अक्ष हैं।

हम बिवरेट नॉर्मल परिवार की तरह, विकृत रूप से सममित वितरणों को समझने के लिए हमारी समझ को लागू करना चाहेंगे। दुर्भाग्य से, इन विकृतियों के साथ एक समस्या है : वे और अक्षों के बीच के अंतर का सम्मान नहीं करते हैं । चरण 3 पर रोटेशन कि खंडहर। पृष्ठभूमि में बेहोश समन्वय ग्रिड को देखें: ये शो ग्रिड (मेष का क्या होता हैy 1 / 2 एक्स$x$$y$$1/2$दोनों दिशाओं में) जब यह विकृत हो। पहली छवि में मूल ऊर्ध्वाधर लाइनों (ठोस दिखाया गया) के बीच रिक्ति दोगुनी है। दूसरी छवि में मूल क्षैतिज रेखाओं (दिखाए गए धराशायी) के बीच रिक्ति एक तिहाई तक सिकुड़ जाती है। तीसरी छवि में ग्रिड स्पेसिंग को नहीं बदला जाता है, लेकिन सभी लाइनों को घुमाया जाता है। वे चौथी छवि में ऊपर और दाईं ओर शिफ्ट होते हैं। अंतिम छवि, शुद्ध परिणाम दिखाती है, यह फैला हुआ, निचोड़ा हुआ, घुमाया हुआ, स्थानांतरित ग्रिड प्रदर्शित करता है। स्थिर की मूल ठोस रेखाएँ अब लंबवत नहीं हैं।$x$

कुंजी विचार --एक यह है कहने के लिए उद्यम सकता है प्रतिगमन की जड़ - एक जिस तरह सर्कल एक अंडाकार में विकृत किया जा सकता है कि वहाँ है खड़ी लाइनों के घूर्णन के बिना । क्योंकि रोटेशन अपराधी था, चलो पीछा करने के लिए काटते हैं और दिखाते हैं कि वास्तव में कुछ भी घुमाने के लिए दिखाई देने के बिना एक घुमाए गए दीर्घवृत्त कैसे बनाया जाए !

यह एक तिरछा परिवर्तन है। यह वास्तव में एक ही बार में दो काम करता है:

• यह दिशा (एक राशि , ) में । इससे -axis अकेला निकल जाता है ।λ $y$$\lambda$$x$

• यह किसी भी परिणामी बिंदु को सीधे समानुपाती मात्रा में उठाता है । अनुपात के उस स्थिरांक को रूप में लिखते हुए , यह को भेजता है ।x ρ ( x , y ) ( x , y + ρ x $(x,y)$$x$$\rho$$(x,y)$$(x, y+\rho x)$

दूसरा चरण -axis को लाइन में लिफ्ट करता है , जो पिछले आंकड़े में दिखाया गया है। जैसा कि उस आकृति में दिखाया गया है, मैं एक विशेष तिरछा परिवर्तन के साथ काम करना चाहता हूं, एक जो प्रभावी ढंग से दीर्घवृत्त को 45 डिग्री तक घुमाता है और इसे इकाई वर्ग में बदल देता है। इस दीर्घवृत्त का प्रमुख अक्ष रेखा । यह स्पष्ट रूप से स्पष्ट है कि । ( नकारात्मक मानों को दीर्घवृत्त को दाईं ओर झुकाते हैं।) यह "अर्थ के प्रतिगमन" का ज्यामितीय स्पष्टीकरण है।y = ρ x y = x | ρ | ≤ 1 $x$$y=\rho x$$y=x$$|\rho| \le 1$$\rho$

$y=x$

• $\rho x$$(1,0)$$(1,\rho)$

• $(\rho, 1)$

यह बात कहां से शुरू हुई?

• $x^2+y^2=1$$x$$\rho$$(\rho, \sqrt{1-\rho^2})$

• $(\rho, y)$$(\rho, \lambda y)$$(\rho, \lambda y + \rho\times\rho)$

$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$ ρ$\lambda = \sqrt{1-\rho^2}$$\rho$

इन विचारों को दृढ़ करने के लिए, यहाँ एक झांकी है जिसमें दिखाया गया है कि कैसे एक तिरछा समरूप वितरण इन तिर्यक परिवर्तनों के माध्यम से अण्डाकार आकृति के साथ वितरण में विकृत होता है। पैनल बाएं से दाएं और बराबर मान दिखाते हैं ।0 , 3 / 10 , 6 / 10 , 9 / 10 $\rho$$0,$ $3/10,$ $6/10,$$9/10,$

सबसे बाईं आकृति गोलाकार आकृति के साथ-साथ क्षैतिज अक्ष के भाग के चारों ओर शुरुआती बिंदुओं का एक समूह दिखाती है। बाद के आंकड़े यह दिखाने के लिए कि उन बिंदुओं को कैसे स्थानांतरित किया जाता है, तीर का उपयोग करते हैं। क्षैतिज अक्ष की छवि एक slanted रेखा खंड (ढलान ) के रूप में प्रकट होती है । (रंग अलग-अलग आंकड़ों में अलग-अलग मात्रा में घनत्व का प्रतिनिधित्व करते हैं।)$\rho$

---

आवेदन

हम प्रतिगमन करने के लिए तैयार हैं। प्रतिगमन करने के लिए एक मानक, सुरुचिपूर्ण (अभी तक सरल) विधि माप की नई इकाइयों में मूल चर को व्यक्त करने के लिए सबसे पहले है: हम उन्हें अपने साधनों पर केंद्रित करते हैं और इकाइयों के रूप में उनके मानक विचलन का उपयोग करते हैं। यह वितरण के केंद्र को मूल में ले जाता है और इसके सभी अण्डाकार आकृति को 45 डिग्री (ऊपर या नीचे) तिरछा बनाता है।

0 x $x$$0$$x$$0$$y$$\sqrt{1-\rho^2}$$\rho$$x$$\rho x$$x$

• $y$$0$

• $\rho x$$x$$\rho x$$y=\rho x$

$x$$y=\rho x$

$x$

हम आसानी से और अधिक कह सकते हैं:

• $(X,Y)$$Y|X$$\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$

• $\sqrt{1-\rho^2}$$\rho x$

$1$$x$$1-\rho^2$

$\rho$$\Sigma$$X$$Y$$XY$$X$$Y$$(X,Y)$

$$\varepsilon = Y - \rho X$$

$\varepsilon$$0$$Y$$0$$\rho X$$\rho X$

$x$$\rho = -1/2$

इसके फलस्वरूप

$$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$$

$X$$1$$X\varepsilon$$X(-\varepsilon)$$\varepsilon$$0$

$\rho$$X$$Y$

---

निष्कर्ष

$x$$(X,Y)$$x$$y$$\mu_x$$\mu_y$$\sigma_x$$\sigma_y$

• $(\mu_x,\mu_y)$

• $\{(x, \rho x)\},$

• $\rho$$\sigma_y \rho / \sigma_x$

नतीजतन प्रतिगमन रेखा का समीकरण है

$$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$$

• $Y|X$$\sigma_y^2(1-\rho^2)$$Y'|X'$$(X',Y')$$X'=(X-\mu_X)/\sigma_x$$Y'=(Y-\mu_Y)/\sigma_Y$

$Y'|X'$$1$

• $\Sigma$$\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$$\sigma_{22}=\sigma_y^2,$$Y|X$

$$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$$

---

तकनीकी नोट्स

$y$

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$$

कहाँ पे

$$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$$

एक बेहतर ज्ञात वर्गमूल है जिसे शुरू में वर्णित किया गया है (एक तिरछा परिवर्तन के बजाय घुमाव को शामिल करना); यह एक विलक्षण मूल्य अपघटन द्वारा निर्मित है और यह प्रमुख घटक विश्लेषण (पीसीए) में एक प्रमुख भूमिका निभाता है:

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$$

$$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$$

$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$$45$

इस प्रकार, पीसीए और प्रतिगमन के बीच का अंतर सहसंबंध मैट्रिक्स के दो विशेष वर्गमूलों के बीच के अंतर पर आता है।

Comments

सुंदर चित्र और महान विवरण। अपडेट में कुछ वाक्य ऐसे थे जिन्हें अधूरा छोड़ दिया गया था (जैसे कि आप मूल रूप से जानते थे कि आप क्या कहने जा रहे हैं, लेकिन अंतिम शब्दों पर समझौता नहीं किया गया था)।

— कार्डिनल

@ कार्डिनल धन्यवाद। मैं इसे फिर से पढ़ रहा हूं और ऐसी चीजों की तलाश कर रहा हूं, साथ ही अपरिहार्य टाइपोस के लिए भी। आप अन्य चीजों को इंगित करने के लिए बहुत दयालु हैं जिन्हें आपने निश्चित रूप से देखा था, जैसे कि प्रदर्शनी में कुछ अंतराल। सबसे बड़ा यह है कि मैंने वास्तव में यह नहीं दिखाया कि ये दीर्घवृत्त 45 डिग्री के कोण पर हैं (समकक्ष, इकाई वर्ग में उत्कीर्ण हैं); मैंने बस यही मान लिया। मैं अभी भी एक साधारण प्रदर्शन की तलाश में हूं। दूसरा यह है कि किसी को यह चिंता हो सकती है कि तिरछा परिवर्तन मूल खिंचाव-निचोड़-घुमाने-शिफ्ट की तुलना में एक अलग वितरण पैदा कर सकता है - लेकिन यह दिखाना आसान नहीं है।

— whuber

यह वाकई दिलचस्प है। इसे लिखने के लिए समय निकालने के लिए धन्यवाद।

— बिल

अनुप्रयोगों के 1 पैराग्राफ में लिखा गया है कि: "हम उन्हें उनके साधनों पर केंद्रित करते हैं और इकाइयों के रूप में उनके मानक विचलन का उपयोग करते हैं। यह वितरण के केंद्र को मूल में ले जाता है और इसके सभी अण्डाकार आकृति को 45 डिग्री तक झुका देता है", लेकिन मैं डॉन ' टी कैसे उनके केंद्र में चर केंद्रित करने के लिए अपने केंद्र की उत्पत्ति और 45 डिग्री के लिए उन्हें स्थानांतरित करने के लिए समझ में कैसे?

— कौशल्या

जब आप यूनिट सर्कल (मानकीकृत नमूना सेट) के साथ शुरू करते हैं, तो आप कहते हैं कि सहसंबंध 0 है, इसलिए मैं कल्पना करता हूं, हमें जैसा एक चक्र मिलेगा$f(X,Y)=e^{\frac{1}{2}{(x^2 + y^2)}}$$f(X,Y)$$f(X)f(Y)$

Answer 2

$Y$$X=x_i$$X$$X_1$$X_2$$0$$X_2$$x_1$जहाँ आप मल्टीवेरिएट वितरण के माध्यम से 'स्लाइसिंग' कर रहे हैं। नीचे दिए गए आंकड़े पर विचार करें:

$X_1$$X_2$$X_2$$X_1$$\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$।

$\sigma_{22}$$\Sigma$$X_2$$\sigma^2$$\sigma$

$\hat y_i$

$$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$$ $^{\sigma_{12}}/_{\sigma_{22}}$$\mu_{X_2|X_1=x_i}$$\mu_{X_2}$$\mu_{X_2}$ $x_{2i}$$X_1$$X_2$

Comments

यदि आप अधिक चर पर शर्त लगाते हैं तो क्या होगा? आप बस माध्य और विचरण से अतिरिक्त शब्द जोड़ और घटाएंगे?

$Y$$\bf X$$\hat y_i=\bf X_i \boldsymbol{\hat\beta}$$\boldsymbol{\hat\beta}=(\bf X^TX)^{-1}X^TY$

ग्राफ बनाने के लिए आपने क्या इस्तेमाल किया? मेथेमेटिका?

— 3

@mpiktas, मेरा ग्राफ या व्हीबर? मेरा मानना है कि उसकी मेथेमेटिका हैं, लेकिन मैं डब्ल्यू / आर (बदसूरत कोड हालांकि ...) के ऊपर से एक बना दिया

— गुंग - को पुनः स्थापित मोनिका

@mpiktas, मैं कल्पना नहीं कर सकता कि मेरे कोड को कभी "भयानक" के रूप में वर्णित किया जाना चाहिए ... सामान्य वक्र w / हैं dnorm(y)। मैं बस करने के लिए उत्पादन को जोड़ने 25और 45, और के रूप में उपयोग x।

— गंग -

Answer 3

$X_1$$X_2$$\sigma_{1,2}>0$$X_2$$X_2$$X_1$$X_1$

$X_2=\mathit{x}_2>\mu_2$$X_2$$X_1$$\sigma_{1,2}>0$$X_1$$X_2$$X_2$$X_1$

$$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $X_2$$E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

$X_1$$X_2$

$$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $BLP$

Comments

$x_2-\mu_2$$\sigma_{12}/\sigma_{22}$

$\mathit{x}_2>\mu_2$$E(X_1|X_2=\mathit{x}_2)<\mu_1$$\sigma_{1,2}>0$

"सहज" का अर्थ "गैर-मात्रात्मक" नहीं है: दोनों एक साथ जा सकते हैं। एक सहज ज्ञान युक्त तर्क खोजना बहुत मुश्किल है जो मात्रात्मक परिणाम देता है, लेकिन अक्सर यह किया जा सकता है और इस तरह के तर्क को खोजने की प्रक्रिया हमेशा रोशन होती है।

— व्हीबर

अंतिम पैराग्राफ फिर से पढ़ें: मुझे पता चला है कि सामान्य वितरण इतना विशेष नहीं है: परिधीय रूप से सममित वितरण के आयताकार परिवर्तनों द्वारा बनाए गए परिवार विशेष हैं (जिनमें से बहुत सारे हैं)।

— whuber

@whuber यह काफी दिलचस्प है। क्या आपके पास एक लिंक या हवाला है?

— बिल