कई सहसंबंध गुणांक की ज्यामितीय व्याख्या और निर्धारण गुणांक

मैं कई सहसंबंध के ज्यामितीय अर्थ में रुचि रखता हूं और प्रतिगमन में निर्धारण का गुणांक , या वेक्टर संकेतन में, $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

यहाँ डिज़ाइन मैट्रिक्स में पंक्तियाँ और कॉलम हैं, जिनमें से पहला है , 1s का वेक्टर जो इंटरसेप्ट के से मेल । $\mathbf{X}$ $n$ $k$ $\mathbf{x}_1 = \mathbf{1}_n$ $\beta_1$

ज्यामिति में अधिक दिलचस्प है आयामी विषय अंतरिक्ष के बजाय आयामी चर अंतरिक्ष। टोपी मैट्रिक्स को परिभाषित करें: $n$ $k$

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

यह के कॉलम स्पेस पर एक ऑर्थोगोनल प्रोजेक्शन है , अर्थात प्रत्येक वैरिएबल प्रतिनिधित्व करने वाले vectors द्वारा फ्लैट के माध्यम से , जिसमें से पहला है । तब फ्लैट पर अपनी "परछाई" पर मनाया प्रतिक्रियाओं के वेक्टर को प्रोजेक्ट करता है , सज्जित मूल्यों का वेक्टर , और यदि हम प्रक्षेपण के मार्ग के साथ हम अवशिष्टों के वेक्टर को देखते हैं एक त्रिकोण का तीसरा पक्ष बनाते हैं। यह हमें की ज्यामितीय व्याख्या के लिए दो मार्गों के साथ प्रस्तुत करना चाहिए $\mathbf{X}$ $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $R^2$ :

बहु सहसंबंध गुणांक का वर्ग, , जिसे और बीच संबंध के रूप में परिभाषित किया गया है । यह एक कोण के कोसाइन के रूप में ज्यामितीय रूप से दिखाई देगा। $R$ $\mathbf{y}$ $\mathbf{\hat{y}}$
वैक्टर की लंबाई के संदर्भ में: उदाहरण के लिए | $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

मुझे एक संक्षिप्त खाता देखकर खुशी होगी जो बताते हैं:

(1) और (2) के लिए महीन विवरण,
क्यों (1) और (2) बराबर हैं,
संक्षेप में, कैसे ज्यामितीय अंतर्दृष्टि हमें मूल गुणों की कल्पना करने देती है $R^2$ , उदाहरण के लिए यह शोर 1 में क्यों जाता है जब यह 1 तक जाता है। (आखिरकार, अगर हम अपने दृश्य से इंट्रैक्ट नहीं कर सकते हैं तो यह एक से अधिक नहीं है। सुन्दर तस्वीर।)

मैं इसकी सराहना करता हूं कि यदि चर पहले केंद्रित होते हैं, तो यह अधिक सीधा है, जो प्रश्न से अवरोधन को हटा देता है। हालाँकि, अधिकांश पाठ्यपुस्तक खातों में जो एकाधिक प्रतिगमन का परिचय देते हैं, डिज़ाइन मैट्रिक्स जैसा कि मैंने निर्धारित किया है। बेशक यह ठीक है अगर कोई प्रदर्शनी केंद्र चर द्वारा फैलाए गए स्थान में देरी करता है, लेकिन पाठ्यपुस्तक रैखिक बीजगणित में अंतर्दृष्टि के लिए, यह इस स्थिति से संबंधित होने के लिए बहुत ही मददगार होगा जो विषम परिस्थिति में ज्यामितीय रूप से हो रहा है। एक बहुत ही व्यावहारिक जवाब यह समझा सकता है कि जब ज्यामितीय रूप से इंटरसेप्ट शब्द को गिराया जाता है तो वास्तव में क्या टूट रहा है - यानी जब सदिश $\mathbf{X}$ $\mathbf{1}_n$ फैले हुए सेट से हटा दिया जाता है। मुझे नहीं लगता कि इस अंतिम बिंदु को अकेले केंद्रित चर पर विचार करके संबोधित किया जा सकता है।

— silverfish
स्रोत

यदि मॉडल में एक स्थिर शब्द है तो के कॉलम स्थान में है (जैसा कि , जो बाद में उपयोगी होगा)। फिटेड उस कॉलम स्पेस द्वारा बनाए गए फ्लैट पर मनाया गया का ऑर्थोगोनल प्रोजेक्शन है। इसका मतलब यह है कि अवशेषों का वेक्टर सपाट है, और इसलिए । डॉट उत्पाद को ध्यान में रखते हुए हम देख सकते हैं , इसलिए के घटकों को शून्य के योग करना चाहिए। चूंकि हम वह निष्कर्ष निकालते हैं $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ ताकि फिट और देखी गई दोनों प्रतिक्रियाओं का अर्थ । $\bar{Y}$

कई प्रतिगमन के विषय स्थान में क्षेत्र

आरेख में धराशायी रेखाएँ और करती हैं, जो केंद्रित वैक्टर हैं मनाया और फिट प्रतिक्रियाओं के लिए। इन वैक्टरों के बीच के कोण का कोसाइन इसलिए और का सहसंबंध होगा , जो कि परिभाषा के अनुसार बहु सहसंबंध गुणांक । अवशिष्ट के सदिश के साथ ये वैक्टर जो त्रिकोण बनाते हैं, वह से है, लेकिन फ्लैट में है। इसलिये: $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

हम त्रिकोण में पाइथागोरस को भी लागू कर सकते हैं:

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

जो अधिक परिचित हो सकते हैं:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

यह वर्गों, के योगों का अपघटन है । $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

निर्धारण के गुणांक के लिए मानक परिभाषा है:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

जब वर्गों के योगों को विभाजित किया जा सकता है, तो यह दिखाने के लिए कुछ सीधा बीजगणित लेता है यह "विचरण के अनुपात के अनुसार" सूत्रीकरण के बराबर है।

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

त्रिकोण से इसे देखने का एक ज्यामितीय तरीका है, जिसमें न्यूनतम बीजगणित होता है। निश्चित सूत्र और बुनियादी त्रिकोणमिति के साथ हम इसे को सरल बना सकते हैं । यह और बीच की कड़ी है । $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

ध्यान दें कि इस विश्लेषण के लिए इंटरसेप्ट शब्द फिट करना कितना महत्वपूर्ण था, इसलिए उस कॉलम स्पेस में था। इसके बिना, अवशिष्टों को शून्य के रूप में नहीं जाना चाहिए था, और फिट किए गए मूल्यों का मतलब साथ मेल नहीं खाता होगा । उस स्थिति में हम त्रिकोण खींच नहीं सकते थे; वर्गों की रकम पाइथागोरस तरीके से विघटित नहीं होती; का अक्सर उद्धृत रूप न होता और न ही का वर्ग होता । इस स्थिति में, कुछ सॉफ़्टवेयर (सहित ) लिए एक अलग सूत्र का उपयोग करते हैं । $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— silverfish
स्रोत

+1 बहुत अच्छा लिखने और आंकड़ा। मुझे आश्चर्य है कि यह केवल मेरा अकेलापन है।

— अमीबा का कहना है कि

+1। ध्यान दें कि आपके उत्तर का आंकड़ा "कॉलम स्पेस X", Y, Ypred as vectors इत्यादि को मल्टीवेरेट आँकड़े में "(कम) विषय स्थान प्रतिनिधित्व" के रूप में जाना जाता है ( देखें , आगे के लिंक के साथ जहाँ मैंने इसका उपयोग किया है) )।

— ttnphns