एक अवरोधन में शामिल होने पर रेखीय प्रतिगमन में अवशिष्ट हमेशा शून्य क्यों होते हैं?

14

मैं प्रतिगमन मॉडल पर एक पाठ्यक्रम ले रहा हूं और रैखिक प्रतिगमन के लिए प्रदान किए गए गुणों में से एक यह है कि अवरोधन हमेशा शून्य होता है जब एक अवरोधन शामिल होता है।

क्या कोई ऐसा कारण बता सकता है कि यह मामला क्यों है?

regression residuals

— dts86
स्रोत

3

आप पहले से संबंधित लेकिन सरल सवाल में क्यों एक univariate नमूना में

— टटोलना पसंद

3

जैसे ही आप पहचानते हैं कि "शून्य से शून्य" का अर्थ है "व्याख्यात्मक चर में से एक के लिए ऑर्थोगोनल" उत्तर ज्यामितीय रूप से स्पष्ट हो जाता है।

— whuber

18

यह सामान्य समीकरणों से सीधे आता है, अर्थात वे समीकरण जो OLS आकलनकर्ता हल करते हैं,

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

कोष्ठक के अंदर वेक्टर निश्चित रूप से अवशिष्ट वेक्टर या के प्रक्षेपण पर के स्तंभ स्थान के ऑर्थोगोनल पूरक पर होता है , अगर आपको रैखिक बीजगणित पसंद है। अब मैट्रिक्स में लोगों का एक सदिश भी शामिल है , जिस तरह से पारंपरिक रूप से पहले कॉलम में होना जरूरी नहीं है। $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

द्वि-चर समस्या में यह देखना और भी सरल है, क्योंकि चुकता अवशिष्टों का योग कम से कम हमें लाता है

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

जब हम अवरोधक को अवरोधन के संबंध में लेते हैं। इसके बाद से हम परिचित अनुमानक को प्राप्त करने के लिए आगे बढ़ते हैं

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

जहां हम फिर से देखते हैं कि हमारे अनुमानक का निर्माण इस शर्त को लागू करता है।

— JohnK
स्रोत

17

मामले में आप एक सहज ज्ञान युक्त व्याख्या के लिए देख रहे हैं।

कुछ अर्थों में, रैखिक प्रतिगमन मॉडल एक फैंसी मतलब के अलावा कुछ भी नहीं है। जानने के लिए समांतर माध्य $\bar{x}$ कुछ मूल्यों पर $x_1, x_2, \dots, x_n$ , हम एक अर्थ में केन्द्रीयता का एक उपाय है कि एक मूल्य पाते हैं कि सभी विचलनों (जहां प्रत्येक विचलन के रूप में परिभाषित किया गया है की राशि $u_i = x_i - \bar{x}$ ) माध्य मान के दाईं ओर उस अर्थ के बाईं ओर सभी विचलन के योग के बराबर हैं। कोई भी अंतर्निहित कारण नहीं है कि यह उपाय क्यों अच्छा है, अकेले एक नमूने के माध्यम का वर्णन करने का सबसे अच्छा तरीका है, लेकिन यह निश्चित रूप से सहज और व्यावहारिक है। महत्वपूर्ण बिंदु यह है, कि अंकगणित माध्य को इस तरह से परिभाषित करने से, यह आवश्यक रूप से इस प्रकार है कि एक बार जब हमने अंकगणित माध्य का निर्माण किया है, तो इस अर्थ से सभी विचलन शून्य से योग होने चाहिए!

रैखिक प्रतिगमन में, यह अलग नहीं है। हम लाइन फिट ऐसी है कि हमारे फिट मान (जो प्रतिगमन लाइन पर कर रहे हैं) और वास्तविक मान रहे हैं के बीच सभी मतभेदों का योग ऊपर लाइन वास्तव में प्रतिगमन लाइन के बीच सभी मतभेदों और सभी मूल्यों की राशि के बराबर है नीचे लाइन। फिर, कोई अंतर्निहित कारण नहीं है, क्यों यह एक फिट बनाने का सबसे अच्छा तरीका है, लेकिन यह सीधा और सहज रूप से आकर्षक है। जैसे अंकगणित का मतलब है: इस तरह से हमारे फिट किए गए मूल्यों का निर्माण करके, यह जरूरी है कि निर्माण द्वारा, इस तरह से कि लाइन से सभी विचलन शून्य के लिए शून्य के लिए योग करना चाहिए अन्यथा यह सिर्फ एक ओएलएस मंदी नहीं होगा।

— मैनुअल आर
स्रोत

2

सीधे, सरल और सहज उत्तर के लिए +1!

महान व्याख्या, लेकिन मुझे यकीन नहीं है, "फिर से, कोई अंतर्निहित कारण नहीं है, यह एक फिट बनाने का सबसे अच्छा तरीका क्यों है, लेकिन यह सीधा और सहज रूप से आकर्षक है।" सही है। यह गाऊस-मार्कोव प्रमेय द्वारा अच्छी तरह से जाना जाता है कि ओएलएस अनुमानक BLUE हैं: सबसे अच्छा (न्यूनतम-भिन्नता) रैखिक निष्पक्ष अनुमान (अनुमानों को पूरा किया जाता है)। अक्सर, हमारी सहज "भावनाओं" के बारे में जो अपील / उचित है वह भी गणितीय रूप से समर्थित है, जैसा कि यहां मामला है।

— मेग

3

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ इसलिए, अवशिष्ट रेखीय प्रतिगमन में एक अवरोधन में शामिल होने पर हमेशा शून्य के बराबर होता है।

— DavidCruise
स्रोत

1

$1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

इसलिए,

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— Zhanxiong
स्रोत

0

मैट्रिक्स बीजगणित का उपयोग करके एक सरल व्युत्पत्ति:

$\sum e$ $1^Te$

फिर

$1^Te = 1^T(M_x y)$ $M_x$ $M_x$ $(M_x1)^Ty$

$M_x$ $1$ $x$ $1$

— Mino
स्रोत

मुझे नहीं लगता कि यह सही है।

— माइकल आर। चेरिक

यदि आप समझाते हैं कि तब मुझे कुछ सीखने की खुशी क्यों होगी

— मिनो

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— Hunaphu
स्रोत