ओएलएस का उपयोग करते हुए अवशेषों पर त्रुटियों को फिर से दर्ज करते समय ढलान हमेशा ठीक 1 क्यों होता है?

10

मैं R में कुछ सरल सिमुलेशन का उपयोग करते हुए त्रुटियों और अवशिष्टों के बीच संबंधों के साथ प्रयोग कर रहा था। एक बात जो मुझे मिली है, वह यह है कि नमूना आकार या त्रुटि भिन्नता की परवाह किए बिना, मैं हमेशा ढलान के लिए ठीक प्राप्त करता हूं जब आप मॉडल फिट करते हैं $1$

इ आर आर ओ आर रों ~ β_{0} + β_{1} \times आर इ रों मैं घ यू ए एल रों

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

यहाँ सिमुलेशन मैं कर रहा था:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eऔर rबहुत (लेकिन पूरी तरह से नहीं) सहसंबद्ध हैं, यहां तक कि छोटे नमूनों के लिए भी, लेकिन मैं यह पता नहीं लगा सकता कि ऐसा क्यों होता है। एक गणितीय या ज्यामितीय स्पष्टीकरण की सराहना की जाएगी।

regression least-squares residuals

— GoF_Logistic
स्रोत

5

विमान त्रिभुज OXY में, आधार OX के साथ, पक्षों की ऊँचाई YO और XY त्रिभुज की ऊँचाई है। आदेश में, उन ऊंचाई के गुणांकों द्वारा दिया जाता है lm(y~r), lm(e~r)और lm(r~r)है, जो इसलिए सभी बराबर होना चाहिए। बाद का स्पष्ट रूप से । इन तीनों आदेशों को देखने के लिए प्रयास करें। पिछले एक काम करने के लिए में आप की एक प्रतिलिपि बनाने के लिए है , जैसे । प्रतिगमन के ज्यामितीय आरेखों के बारे में अधिक जानने के लिए, आँकड़े देखें ।stackexchange.com/a/113207 ।

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

धन्यवाद @whuber क्या आप इसका उत्तर देना चाहते हैं, इसलिए मैं इसे स्वीकार कर सकता हूं, या शायद इसे डुप्लिकेट के रूप में चिह्नित कर सकता हूं?

— GoF_Logistic

1

मुझे नहीं लगता कि यह कोई डुप्लिकेट है, इसलिए मैंने टिप्पणी को एक उत्तर में विस्तारित किया है।

— whuber

11

व्हीबर का जवाब बहुत अच्छा है! (+1) मैंने नोटिफ़िकेशन का उपयोग करके समस्या को सबसे अधिक परिचित किया और सोचा (कम दिलचस्प, अधिक नियमित) व्युत्पत्ति यहाँ शामिल करने के लिए सार्थक हो सकती है।

चलो हो प्रतिगमन मॉडल, के लिए और शोर। तब के प्रतिगमन के स्तंभों के खिलाफ सामान्य समीकरण है उपज अनुमान $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {({एक्स}^{टी} एक्स)}^{- 1} {एक्स}^{टी} y ।

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$ इसलिए प्रतिगमन बच है

के लिए

।

आर = y - एक्स \hat{β} = (मैं - एच) y = (मैं - एच) ε,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

Regressing पर द्वारा दिए गए एक अनुमान के अनुसार ढाल में परिणाम $\epsilon$ $r$ के बाद सेहै सममित और idempotent औरलगभग निश्चित रूप से।

\begin{aligned} ({आर}^{टी} आर)^{- 1} {आर}^{टी} ε & = {({[(मैं - एच) ε]}^{टी} [(मैं - एच) ε])}^{- 1} {[(मैं - एच) ε]}^{टी} ε \\ = \frac{ε^{टी} {(मैं - एच)}^{टी} ε}{ε^{टी} {(मैं - एच)}^{टी} (मैं - एच) ε} \\ = \frac{ε^{टी} (मैं - एच) ε}{ε^{टी} (मैं - एच) ε} \\ = 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

इसके अलावा, यह तर्क यह भी रखता है कि जब हम अवशिष्टों पर त्रुटियों का प्रतिगमन करते हैं तो हम एक अवरोधन को शामिल करते हैं यदि एक अवरोधन को मूल प्रतिगमन में शामिल किया गया था, क्योंकि सहसंयोजक ऑर्थोगोनल हैं (यानी , सामान्य समीकरणों से) । $1^T r = 0$

— user795305
स्रोत

+1 यह हमेशा अच्छा होता है कि किसी समाधान को सावधानीपूर्वक और स्पष्ट रूप से देखें।

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— व्हीबर
स्रोत