क्या कई लिए इस रैखिक प्रतिगमन पहचान को समझने का एक सुरुचिपूर्ण / व्यावहारिक तरीका है ?

रैखिक प्रतिगमन में मैं एक सुखद परिणाम के साथ आया हूं कि अगर हम मॉडल फिट करते हैं

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

फिर, यदि हम , और डेटा को और करते हैं, $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

यह मुझे के प्रतिगमन के 2 चर संस्करण की तरह लगता है , जो मनभावन है। $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

लेकिन मुझे पता है कि एकमात्र प्रमाण वैसे भी रचनात्मक या व्यावहारिक (नीचे देखें) नहीं है, और फिर भी इसे देखने के लिए ऐसा लगता है कि इसे आसानी से समझा जा सकता है।

उदाहरण विचार:

और मापदंडों हमें देने के 'अनुपात' और में , और इसलिए हम उनके सह-संबंध के संबंधित अनुपात ले जा रहे हैं ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
रों आंशिक सहसंबंध कर रहे हैं, वर्ग कई सहसंबंध ... आंशिक सहसंबंध से गुणा सह-संबंध है ... $\beta$ $R^2$
यदि हम पहले ऑर्थोगोनलिज़ करते हैं तो s ... क्या यह परिणाम कुछ ज्यामितीय अर्थ देता है? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

इन धागों में से कोई भी मेरे लिए कहीं भी नेतृत्व नहीं करता है। क्या कोई इस परिणाम को समझने के लिए एक स्पष्ट विवरण प्रदान कर सकता है।

असंतोष का प्रमाण

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

तथा

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED।

— Korone
स्रोत

आपको मानकीकृत चर का उपयोग करना चाहिए, अन्यथा लिए आपका सूत्र और बीच झूठ बोलने की गारंटी नहीं है । हालांकि यह धारणा आपके प्रमाण में सामने आती है, यह शुरुआत में स्पष्ट करने में मदद करेगी। मैं इस बात पर हैरान हूं कि आप वास्तव में क्या कर रहे हैं, आपका स्पष्ट रूप से अकेले मॉडल का एक कार्य है - डेटा के साथ कुछ नहीं करना है - फिर भी आप यह उल्लेख करना शुरू कर देते हैं कि आपने मॉडल को "कुछ" फिट किया है ।

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

क्या आपका शीर्ष परिणाम केवल पकड़ नहीं है यदि X1 और X2 पूरी तरह से असंबंधित हैं?

— गूँग - २३:३४ पर मोनिका

@ मुझे ऐसा नहीं लगता - तल पर सबूत कहना है कि यह परवाह किए बिना काम करता है। इस परिणाम ने मुझे भी आश्चर्यचकित कर दिया, इसलिए "स्पष्ट बोध प्रमाण"

— चाहा

@ जब भी मुझे यकीन नहीं होता कि आप "अकेले मॉडल के कार्य" से क्या मतलब है? मेरा सीधा सा मतलब है कि दो पेडिकटर चर के साथ साधारण ओएलएस के लिए । यानी यह का 2 वैरिएबल संस्करण है

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— कोरोन

मैं नहीं बता सकता कि आपके पैरामीटर या अनुमान हैं।

β_{i}

$\beta_i$

— व्हॉबर

जवाबों:

टोपी मैट्रिक्स आलस्यपूर्ण है।

(यह बताते हुए कि रैखिक ओएसएस वैरिएबल का एक ऑर्थोगोनल प्रक्षेपण है, जिसे चर द्वारा अंतरिक्ष में फैलाया गया है।)

याद है कि परिभाषा से

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

कहाँ पे

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

पूर्वानुमानित मूल्यों और (केंद्रित) के वर्गों का योग है

T S S = Y^{'} Y

$TSS = Y^\prime Y$

(केंद्रित) प्रतिक्रिया मूल्यों के वर्गों का योग है। यूनिट वेरिएशन के लिए पहले से मानकीकृत करना भी निहित है $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

स्मरण करो, भी, कि अनुमानित गुणांक द्वारा दिया जाता है

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

जहां से

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

जहां "टोपी मैट्रिक्स" का प्रक्षेपण प्रभावशाली है अपने कम से कम वर्गों पर फिट । यह सममित (जो अपने बहुत ही रूप से स्पष्ट है) और उदासीन है । इस परिणाम से अपरिचित लोगों के लिए उत्तरार्द्ध का प्रमाण यहां दिया गया है। यह सिर्फ चारों ओर कोष्ठक फेरबदल है: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

इसलिये

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

बीच में महत्वपूर्ण कदम ने हैट मैट्रिक्स की बेरुखी का इस्तेमाल किया। दाहिने हाथ की ओर आपका जादुई सूत्र है क्योंकि , और के स्तंभों के बीच सहसंबंध गुणांक का वेक्टर (पंक्ति) है । $\frac{1}{n}Y^\prime X$ $Y$ $X$

— व्हीबर
स्रोत

(+1) बहुत अच्छा लेखन। लेकिन हर जगह के ^{-}बजाय क्यों ^{-1}?

— अमीबा

@amoeba यह एक सामान्यीकृत व्युत्क्रम है , उन मामलों को संभालने के लिए रखा जाता है जहाँ Prime विलक्षण हो सकता है।

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose ने अपने मूल पेपर ( A Generalized Inverse for Matrices , 1954) में नोटेशन । मुझे न तो ऐसा पसंद है और न ही संकेतन क्योंकि वे बहुत आसानी से संयुग्मों के साथ भ्रमित होते हैं, प्रस्ताव करते हैं, या संयुग्मित होते हैं, जबकि संकेतन एक व्युत्क्रम का विचारोत्तेजक है ताकि आकस्मिक पाठक सोच के साथ मिल सके। यदि उन्हें पसंद है तो यह । आप अभी बहुत अच्छे पाठक हैं - लेकिन ध्यान देने के लिए धन्यवाद।

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— व्हिबर

दिलचस्प और सम्मोहक प्रेरणा, लेकिन क्या मैं पूछ सकता हूं कि क्या यह धारणा ऐसी चीज है जो कभी-कभार कहीं और इस्तेमाल की जाती है या यह आपका खुद का आविष्कार है?

— अमीबा

@amoeba: हाँ, यह संकेतन कहीं और दिखाई देता है, जिसमें ग्रेबेल द्वारा शास्त्रीय ग्रंथों में रैखिक मॉडल पर शामिल है।

— कार्डिनल

निम्नलिखित तीन सूत्र अच्छी तरह से ज्ञात हैं, वे रैखिक प्रतिगमन पर कई पुस्तकों में पाए जाते हैं। उन्हें प्राप्त करना मुश्किल नहीं है।

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

यदि आप दो बेटों को अपने समीकरण , तो आपको R- वर्ग के लिए उपरोक्त सूत्र मिलेगा। $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

यहाँ एक ज्यामितीय "अंतर्दृष्टि" है। नीचे और द्वारा प्रतिगमन को दर्शाने वाली दो तस्वीरें हैं । इस तरह के प्रतिनिधित्व को विषय स्थान में चर-अस-वैक्टर के रूप में जाना जाता है (कृपया पढ़ें कि यह क्या है)। सभी तीन चर केंद्रित होने के बाद चित्र खींचे गए हैं, और इसलिए (1) हर वेक्टर की लंबाई = सेंट। संबंधित चर का विचलन, और (2) कोण (इसका कोसाइन) प्रत्येक दो वैक्टर के बीच = संबंधित चर के बीच सहसंबंध। $Y$ $X_1$ $X_2$

यहाँ छवि विवरण दर्ज करें

$\hat{Y}$ प्रतिगमन भविष्यवाणी है ( "विमान एक्स" पर का ऑर्थोगोनल प्रक्षेपण ); त्रुटि शब्द है; , कई सहसंबंध गुणांक। $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

बाएं चित्र दर्शाया गया है तिरछा निर्देशांक की पर चर और । हम जानते हैं कि इस तरह के निर्देशांक प्रतिगमन गुणांक से संबंधित हैं। अर्थात्, निर्देशांक हैं: और । $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

और सही चित्र संगत लम्ब निर्देशांक दिखाता है । हम जानते हैं कि इस तरह के निर्देशांक शून्य क्रम सहसंबंध गुणांक (ये ऑर्थोगोनल अनुमानों के कोसाइन हैं) से संबंधित हैं। यदि के बीच संबंध है और और के बीच संबंध है और तो समन्वय है । इसी तरह अन्य समन्वय के लिए, । $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

अब तक यह रैखिक प्रतिगमन वेक्टर प्रतिनिधित्व के सामान्य स्पष्टीकरण थे। अब हम यह दिखाने के लिए कार्य को चालू करते हैं कि यह को कैसे ले सकता है । $R^2 = r_1 \beta_1 + r_2 \beta_2$

सबसे पहले, याद रखें कि उनके प्रश्न में @Corone ने यह शर्त रखी कि अभिव्यक्ति सत्य है जब तीनों चर को मानकीकृत किया जाता है , अर्थात, न केवल केन्द्रित, बल्कि विचरण के लिए भी बढ़ाया जाता है। 1. फिर (अर्थात वैक्टर के "काम करने वाले हिस्से" होने के लिए) हमारे पास समान निर्देशांक हैं: ; ; ; ; साथ ही साथ। इन शर्तों के तहत, Redraw, ऊपर दिए गए चित्रों का सिर्फ "विमान X": $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

यहाँ छवि विवरण दर्ज करें

चित्र पर, हमारे पास लम्बे के समान वेक्टर के लंबवत निर्देशांक और तिरछे निर्देशांक की एक जोड़ी है । तिरछे लोगों (या पीछे) से लंबवत निर्देशांक प्राप्त करने के लिए एक सामान्य नियम मौजूद है: , जहां लंबवत लोगों का मैट्रिक्स है; तिरछा लोगों के समान आकार का मैट्रिक्स है; और नॉनथोगोनल एक्सिस के बीच कोण (कोजाइन) के सममित मैट्रिक्स हैं। $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ और हमारे मामले में कुल्हाड़ी हैं, जिनके बीच है। तो, और । $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

स्थानापन्न इन एस के माध्यम से व्यक्त में रों @ Corone के बयान , और आप उस मिलेगा , - जो सच है , क्योंकि यह ठीक है कि एक समांतर चतुर्भुज (चित्र पर टिंटेड) का एक विकर्ण इसके आसन्न पक्षों (मात्रा अदिश उत्पाद के रूप में) के माध्यम से व्यक्त किया गया है। $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

यह बात किसी भी भविष्यवक्ता X की किसी भी संख्या के लिए सही है। दुर्भाग्य से, कई भविष्यवक्ताओं के साथ एक जैसे चित्र बनाना असंभव है।

— ttnphns
स्रोत

+1 अच्छा है कि इसे इस तरह से बनाया गया है, लेकिन यह व्हिबर के उत्तर की तुलना में अधिक अंतर्दृष्टि नहीं जोड़ता है

— कोरोन

@ कोरोन, मैंने कुछ "अंतर्दृष्टि" जोड़ी, जो आप ले सकते हैं।

— ttnphns

+1 वास्तव में अच्छा (अपडेट के बाद)। मैंने सोचा था कि निर्देशांक के बीच परिवर्तित करने के "सामान्य नियम" को लागू करना थोड़ा अधिक है (और मेरे लिए केवल भ्रमित था); यह देखने के लिए कि एक को केवल की परिभाषा याद रखने और सही त्रिकोण में से एक को देखने की आवश्यकता है।

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— अमीबा

सच में शांत संपादित, स्विच स्वीकार किए जाते हैं।

— 19