रैखिक प्रतिगमन: * क्यों * आप वर्गों के योगों का विभाजन कर सकते हैं?

9

यह पोस्ट एक रैखिक प्रतिगमन मॉडल, को संदर्भित करता है । मैंने हमेशा त्रुटि (SSE) के लिए वर्गों के योग में वर्गों (SSTO) के विभाजन को लिया है और विश्वास पर मॉडल (SSR) के लिए वर्गों का योग है, लेकिन एक बार जब मैंने इसके बारे में सोचना शुरू कर दिया, तो मुझे समझ नहीं आया यह क्यों काम करता है ... $Y_i = \beta_0 + \beta_1x_i$

भाग मैं है समझते हैं:

$y_i$ : y का मनाया गया मान

$\bar{y}$ : सभी का मतलब s है $y_i$

$\hat{y}_i$ : किसी दिए गए अवलोकन के x के लिए y का फिट / अनुमानित मूल्य

$y_i - \hat{y}_i$ : अवशिष्ट / त्रुटि (यदि चुकता किया गया है और सभी टिप्पणियों के लिए जोड़ा गया है तो यह SSE है)

$\hat{y}_i - \bar{y}$ : कितना फिट किया गया मॉडल माध्य से भिन्न होता है (यदि चुकता किया गया है और सभी टिप्पणियों के लिए जोड़ा गया है तो यह SSR है)

$y_i - \bar{y}$ : कितना मनाया गया मान माध्य से भिन्न होता है (यदि सभी टिप्पणियों के लिए जोड़ा गया और जोड़ा गया है, तो यह SSTO है)।

मैं समझ सकता हूं कि क्यों, एक ही अवलोकन के लिए, बिना किसी चीज़ के, । और मैं समझ सकता हूं कि, यदि आप सभी टिप्पणियों में चीजों को जोड़ना चाहते हैं, तो आपको उन्हें वर्ग में लाना होगा या उन्हें 0 में जोड़ना होगा। $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

जो हिस्सा मुझे समझ नहीं आ रहा है वह क्यों (उदा। एसएसटीओ = एसएसआर + एसएसई)। ऐसा लगता है कि अगर आपके पास ऐसी स्थिति है जहां , तो , । यहाँ ऐसा क्यों नहीं है? $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— bluemouse
स्रोत

5

आपने अपने अंतिम पैराग्राफ में समन छोड़ दिया। एसएसटी = एसएसआर + एसएसई पर एक राशि है , लेकिन आपकी समानता आपने तुरंत पहले लिखी थी, यह वास्तव में वहां हस्ताक्षर के बिना सच नहीं है।

i

$i$

— Glen_b -Reinstate मोनिका

1

अपने अंतिम पैराग्राफ में, आप चाहते हैं (यानी एसएसटीओ = एसएसआर + एसएसई) (जैसे एसएसटीओ = एसएसआर + एसएसई) नहीं। "उदा" अंग्रेजी में लैटिन वाक्यांश " एग्जम्प्लेट ग्राटिया ," या "उदाहरण के लिए" का संक्षिप्त नाम है । "अर्थात" " आईडी एस्ट " के लिए एक संक्षिप्त नाम है और इसे "यही है" के रूप में अंग्रेजी में पढ़ा जा सकता है।

— मैथ्यू गुन

9

ऐसा लगता है कि अगर आपके पास ऐसी स्थिति है जहां , तो , । यहाँ ऐसा क्यों नहीं है? $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

वैचारिक रूप से, यह विचार है कि क्योंकि और ऑर्थोगोनल हैं (यानी लंबवत हैं)। $BC = 0$ $B$ $C$

यहाँ रेखीय प्रतिगमन के संदर्भ में, अवशिष्ट पूर्वानुमान के लिए orthogonal हैं । रेखीय प्रतिगमन से पूर्वानुमान एक समान अर्थ में का ऑर्थोगोनल अपघटन बनाता है एक ऑर्थोगोनल अपघटन है। $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

रैखिक बीजगणित संस्करण:

करते हैं:

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

रैखिक प्रतिगमन (एक निरंतर शामिल) दो वैक्टर के योग में को विघटित करता है : एक पूर्वानुमान और एक अवशिष्ट $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

Let डॉट उत्पाद को निरूपित करता है । (आम तौर पर, हो सकता है आंतरिक उत्पाद ।) $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

जहां अंतिम पंक्ति इस तथ्य से है कि (यानी कि और ओर्थोगोनल हैं)। आप को साबित कर सकते हैं और orthogonal हैं जो साधारण से कम वर्ग के प्रतिगमन का निर्माण कैसे करते हैं, इस आधार पर । $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ है रैखिक प्रक्षेपण की उपस्पेस द्वारा परिभाषित पर रैखिक अवधि regressors की , , आदि .... अवशिष्ट उस संपूर्ण उप-स्थान पर orthogonal है, इसलिए (जो कि , , आदि ...) की अवधि में निहित है ) ऑर्थोगोनल से । $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

ध्यान दें कि जैसा कि मैंने परिभाषित किया है डॉट उत्पाद के रूप में , बस लिखने का एक और तरीका है (यानी SSTO = SSR + SSE) $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— मैथ्यू गुन
स्रोत

8

पूरा बिंदु दिखा रहा है कि कुछ वैक्टर ऑर्थोगोनल हैं और फिर पाइथागोरस प्रमेय का उपयोग करते हैं।

आइए हम बहुभिन्नरूपी रैखिक प्रतिगमन । हम जानते हैं कि OLS आकलनकर्ता । अब अनुमान पर विचार करें $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (H मैट्रिक्स को "हैट" मैट्रिक्स भी कहा जाता है)

जहां , पर Y का एक ऑर्थोगोनल प्रोजेक्शन मैट्रिक्स है । अब हमारे पास है $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

जहाँ ऑर्थोगोनल पूरक पर एक प्रक्षेपण मैट्रिक्स है जो । इस प्रकार हम जानते हैं कि और orthogonal हैं। $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

अब एक $Y = X_0\beta_0 + \epsilon$

जहाँ और इसी तरह हम OLS आकलनकर्ता और अनुमान है और प्रक्षेपण मैट्रिक्स के साथ पर । इसी तरह हमारे पास है कि और orthogonal हैं। और अब $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

जहां फिर से पूरक पर एक ऑर्थोगोनल प्रोजेक्शन मैट्रिक्स है जो । इस प्रकार हमारे पास orthogonality of और । तो अंत में हमारे पास है $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

और अंत में $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

अन्त में, मतलब बस है जब अशक्त मॉडल पर विचार । $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— Łुकाज़ ग्रैड
स्रोत

आपके उत्तर के लिए धन्यवाद! आपकी पोस्ट में S () (S (X) के रूप में) क्या है?

— १ouse

S (X)

$S(X)$ मैट्रिक्स के स्तंभों द्वारा निर्मित एक उप

X

$X$

— भूमि है