नमूना के सहसंबंध की समानता और सरल रैखिक प्रतिगमन के लिए आर स्टेटिस्टिक

10

यह अक्सर कहा जाता है कि नमूना सहसंबंध का वर्ग सरल रेखीय प्रतिगमन के लिए निर्धारण के गुणांक के बराबर है । मैं स्वयं इसे प्रदर्शित करने में असमर्थ रहा हूं और इस तथ्य के पूर्ण प्रमाण की सराहना करूंगा। $r^2$ $R^2$

regression correlation

— edwardsm88
स्रोत

1

यदि यह एक स्व-अध्ययन प्रश्न है तो कृपया उपयुक्त टैग जोड़ें।

— एंडी

यह प्रश्न यह भी पूछता है कि क्यों ।

R^{2} = r^{2}

$R^2=r^2$

— सिल्वरफिश

8

संकेतन में कुछ भिन्नता प्रतीत होती है: एक साधारण रेखीय प्रतिगमन में, मैंने आमतौर पर "नमूना सहसंबंध गुणांक" वाक्यांश को और मानों के बीच सहसंबंध के संदर्भ के रूप में देखा है । यह इस उत्तर के लिए मैंने अपनाई गई धारणा है। मैंने वही वाक्यांश और प्रतीक देखा है जो प्रेक्षित और fitted बीच सहसंबंध का उल्लेख करते हैं ; मेरे जवाब में मैंने इसे "एकाधिक सहसंबंध गुणांक" के रूप में संदर्भित किया है और प्रतीक उपयोग किया है । यह उत्तर बताता है कि निर्धारण का गुणांक का वर्ग और का वर्ग भी है $r$ $x$ $y$ $y$ $\hat y$ $R$ $r$ $R$ , इसलिए यह मायने नहीं रखता कि कौन सा उपयोग करना है।

परिणाम बीजगणित की एक पंक्ति में इस प्रकार एक बार सहसंबंध और के अर्थ के बारे में कुछ सरल तथ्यों , स्थापित कर रहे हैं ताकि आप बॉक्स्ड समीकरण के लिए नीचे छोड़ना चाहते हैं कर सकते हैं। मुझे लगता है कि हमें विशेष रूप से सह-अस्तित्व और भिन्नता के बुनियादी गुणों को साबित करने की आवश्यकता नहीं है: $r^2$ $R$

Cov (a X + b, Y) = a Cov (X, Y)

$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b) = a^2\text{Var}(X)$

ध्यान दें कि उत्तरार्द्ध पूर्व से प्राप्त किया जा सकता है, एक बार जब हम जानते हैं कि सहसंयोजक सममित है और वह । यहाँ से हम सहसंबंध के बारे में एक और बुनियादी तथ्य प्राप्त करते हैं। के लिए , और इतने लंबे समय के रूप में और गैर शून्य प्रसरण है, $\text{Var}(X)= \text{Cov}(X,X)$ $a \neq 0$ $X$ $Y$

\begin{aligned} Cor (a X + b, Y) & = \frac{Cov (a X + b, Y)}{\sqrt{Var (a X + b) Var (Y)}} \\ = \frac{a}{\sqrt{a^{2}}} \times \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}} \\ Cor (a X + b, Y) & = sgn (a) Cor (X, Y) \end{aligned}

$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$

यहाँ है Signum या हस्ताक्षर समारोह : अपने मूल्य है अगर और अगर । यह भी सच है कि यदि , लेकिन वह मामला हमें चिंतित नहीं करता है: एक स्थिर होगा, इसलिए in हर और हम सहसंबंध की गणना नहीं कर सकते। समरूपता के तर्क हमें इस परिणाम को सामान्य बनाते हैं, : $\text{sgn}(a)$ $\text{sgn}(a) = +1$ $a>0$ $\text{sgn}(a) = -1$ $a<0$ $\text{sgn}(a) = 0$ $a=0$ $aX+b$ $\text{Var}(aX+b) = 0$ $a, \, c \neq 0$

Cor (a X + b, c Y + d) = sgn (a) sgn (c) Cor (X, Y)

$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$

वर्तमान प्रश्न का उत्तर देने के लिए हमें इस अधिक सामान्य सूत्र की आवश्यकता नहीं होगी, लेकिन मैं इसे स्थिति की ज्यामिति पर जोर देने के लिए इसमें शामिल करता हूं: यह केवल यह बताता है कि सहसंबंध अपरिवर्तित है जब या तो चर को स्केल किया जाता है या अनुवादित किया जाता है, लेकिन चर होने पर साइन में उलट होता है। प्रतिबिंबित।

हमें एक और तथ्य की आवश्यकता है: एक निरंतर अवधि सहित एक रैखिक मॉडल के लिए, निर्धारण का गुणांक कई सहसंबंध गुणांक का वर्ग है , जो कि देखे गए प्रतिक्रियाओं और मॉडल के फिट किए गए यॉट बीच सहसंबंध है । यह कई और सरल रिग्रेसन दोनों के लिए लागू होता है, लेकिन आइए हम अपना ध्यान सरल लीनियर मॉडल । परिणाम उस अवलोकन से आता है जो कि एक छोटा, संभवतः परिलक्षित होता है, और का अनुवादित संस्करण है : $R^2$ $R$ $Y$ $\hat Y$ $\hat Y = \hat \beta_0 + \hat \beta_1 X$ $\hat Y$ $X$

R = Cor (\hat{Y}, Y) = Cor ({\hat{β}}_{0} + {\hat{β}}_{1} X, Y) = sgn ({\hat{β}}_{1}) Cor (X, Y) = sgn ({\hat{β}}_{1}) r

$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$

इसलिए जहां संकेत अनुमानित ढलान के संकेत से मेल खाता है, जो गारंटी देता है कि नकारात्मक नहीं है। स्पष्ट रूप से । $R = \pm r$ $R$ $R^2 = r^2$

पूर्ववर्ती तर्क को वर्गों के विचार पर विचार न करके सरल बनाया गया था। इसे प्राप्त करने के लिए, मैं बीच संबंधों के विवरण पर छोड़ दिया , जिसे हम आम तौर पर वर्गों के योगों के संदर्भ में सोचते हैं, और , जिसके लिए हम फिट और मनाया प्रतिक्रियाओं के सहसंबंधों के बारे में सोचते हैं। प्रतीकों का संबंध तांत्रिक लगता है लेकिन ऐसा नहीं है, और यदि मॉडल में कोई अवरोधन शब्द नहीं है तो संबंध टूट जाता है! मैं एक का एक संक्षिप्त स्केच दे देंगे के बीच के रिश्ते के बारे में ज्यामितीय तर्क और एक अलग प्रश्न से लिया : चित्र में तैयार की है आयामी विषय अंतरिक्ष $R^2$ $R$ $R^2 = (R)^2$ $R$ $R^2$ $n$ , इसलिए प्रत्येक अक्ष (दिखाया नहीं गया) अवलोकन की एक इकाई का प्रतिनिधित्व करता है, और चर वैक्टर के रूप में दिखाए जाते हैं। डिजाइन मैट्रिक्स कॉलम वेक्टर (निरंतर अवधि के लिए) और व्याख्यात्मक चर के अवलोकनों के वेक्टर हैं, इसलिए स्तंभ स्थान एक दो-आयामी फ्लैट है। $\mathbf{X}$ $\mathbf{1_n}$

कई प्रतिगमन के विषय स्थान में क्षेत्र

फिटेड ऑफ कॉलम ऑफ । इसका मतलब यह है कि अवशेषों का वेक्टर सपाट है, और इसलिए । डॉट उत्पाद । अवशिष्ट के रूप में शून्य और , तो ताकि और अवलोकन प्रतिक्रियाओं का हो माध्य । आरेख, में डैश रेखाएं और $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{X}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$ $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ , इसलिए मनाया और सज्जित प्रतिक्रियाओं के लिए केन्द्रित वैक्टर हैं, और उनके बीच कोण के कोसाइन उनका सहसंबंध । $\theta$ $R$

त्रिकोण इन वैक्टर बच के वेक्टर के साथ फार्म समकोण के बाद से है फ्लैट में निहित है, लेकिन यह करने के लिए ओर्थोगोनल है। पाइथागोरस को लागू करना: $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

यह वर्गों के योगों का सिर्फ अपघटन है, । निर्धारण के गुणांक के लिए पारंपरिक सूत्र जो इस त्रिभुज में तो वास्तव में का वर्ग है । आप सूत्र से अधिक परिचित हो सकते हैं , जो तुरंत , लेकिन ध्यान दें कि अधिक सामान्य है, और (जैसा कि हमने अभी देखा है) $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $1 - \sin^2 \theta = \cos^2 \theta$ $R$ $R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$ $\cos^2 \theta$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ यदि मॉडल में एक निरंतर शब्द शामिल है ।

— silverfish
स्रोत

अच्छा गणित और ग्राफ बनाने के प्रयासों के लिए +1 धन्यवाद !!

— Haitao Du

4

के रूप में परिभाषित किया गया है चुकता नमूना सहसंबंध गुणांक: समतुल्य है, क्योंकि यह आसानी से सत्यापित किया जाता है: ( Verbeek देखें , §2.4) $R^2$

R^{2} = \frac{\hat{V} ({\hat{y}}_{i})}{\hat{V} (y_{i})} = \frac{1 / (N - 1) \sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2}}{1 / (N - 1) \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}} = \frac{E S S}{T S S}

$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$

r^{2} (y_{i}, {\hat{y}}_{i}) = \frac{{(\sum_{i = 1}^{N} (y_{i} - \bar{y}) ({\hat{y}}_{i} - \bar{y}))}^{2}}{(\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}) (\sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2})}

$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$

\hat{V} (y_{i}) = \hat{V} ({\hat{y}}_{i}) + \hat{V} (e_{i})

$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$

— सर्जियो
स्रोत

क्या आप कुछ और विवरण जोड़ सकते हैं। मैं यह साबित करने की कोशिश कर रहा हूं, लेकिन बिना किसी सक्सेज के ...

— समुद्र में एक बूढ़ा आदमी।