सरल रेखीय प्रतिगमन में, अवशिष्टों के विचरण का सूत्र कहां से आता है?

मेरे द्वारा उपयोग किए जा रहे पाठ के अनुसार, अवशिष्ट के विचलन का सूत्र निम्न द्वारा दिया गया है: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

मुझे यह विश्वास करना कठिन है क्योंकि अवशिष्ट, प्रेक्षित मूल्य और सज्जित मूल्य के बीच का अंतर है ; यदि कोई अंतर के विचरण की गणना करता है, तो कम से कम मैं परिणामी अभिव्यक्ति में कुछ "प्लसस" की उम्मीद करूंगा। व्युत्पत्ति को समझने में किसी भी मदद की सराहना की जाएगी। $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— एरिक
स्रोत

क्या यह संभव है कि पाठ में कुछ " " संकेतों को गलत तरीके से प्रस्तुत किया जा रहा है (या गलत तरीके से) " " संकेत?

+

$+$

-

$-$

— whuber

मैंने यह सोचा था, लेकिन यह पाठ में दो बार हुआ (2 अलग-अलग अध्याय) इसलिए मैंने सोचा कि यह संभव नहीं है। बेशक, सूत्र की व्युत्पत्ति से मदद मिलेगी! :)

— एरिक

निगेटिव एक अवलोकन और इसके सज्जित मूल्य के बीच सकारात्मक सहसंबंध का परिणाम है, जो अंतर के विचलन को कम करता है।

— Glen_b -Reinstate Monica

@ ग्लेन यह समझाने के लिए धन्यवाद कि यह क्यों पता चला कि सूत्र आपके मैट्रिक्स व्युत्पत्ति के साथ-साथ समझ में आता है।

— एरिक

विचरण से संबंधित "प्लस" संकेतों के बारे में अंतर्ज्ञान (इस तथ्य से कि जब हम स्वतंत्र यादृच्छिक चर के अंतर के विचरण की गणना करते हैं, तो हम उनके भिन्न जोड़ते हैं) सही है, लेकिन मोटे तौर पर अधूरा है: यदि यादृच्छिक रूप से शामिल चर स्वतंत्र नहीं हैं। , फिर सहसंयोजक भी शामिल हैं-और सहसंबंध नकारात्मक हो सकते हैं। एक अभिव्यक्ति है कि वहां मौजूद लगभग सवाल में अभिव्यक्ति की तरह सोचा गया कि यह ओपी द्वारा हो "चाहिए" (और मुझे), और यह है की विचरण भविष्यवाणी त्रुटि , निरूपित यह , जहां $e^0 = y^0 - \hat y^0$ : $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

भविष्यवाणी की त्रुटि और अनुमान त्रुटि के विचलन (यानी के अवशिष्ट) के बीच महत्वपूर्ण अंतर यह है कि अनुमानित अवलोकन के त्रुटि शब्द का अनुमान लगाने वाले के साथ संबंध नहीं है , क्योंकि मान का उपयोग निर्माण में नहीं किया गया था। अनुमानक और अनुमानों की गणना, एक आउट-ऑफ-नमूना मूल्य होने के नाते। $y^0$

दोनों के लिए बीजगणित बिल्कुल उसी तरह से एक बिंदु तक बढ़ता है ( बजाय का उपयोग करता है ), लेकिन फिर विचलन होता है। विशेष रूप से: $^0$ $_i$

प्रतिगमन रैखिक सरल में , , आकलनकर्ता की विचरण अब भी है $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

हमारे पास है

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

इसलिए

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

हमारे पास है

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

इसलिए

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{i}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

जिसका मतलब है कि

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

मई के अवशिष्ट के रूप में परिभाषित किया गया है $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

वास्तविक गुणांक, स्थिरांक के रूप में इलाज कर रहे हैं regressor तय हो गई है (या उस पर सशर्त), और त्रुटि शब्द के साथ शून्य सहप्रसरण है, लेकिन आकलनकर्ता त्रुटि अवधि रूप से संबद्ध है, क्योंकि आकलनकर्ता निर्भर चर होते हैं, और निर्भर चर त्रुटि शब्द है। तो हमारे पास

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

इसे प्राप्त करने के लिए इसे थोड़ा पैक करें

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

बड़े कोष्टक में अवधि भविष्यवाणी त्रुटि के विचरण के साथ ठीक उसी संरचना, केवल परिवर्तन किया जा रहा है कि के बजाय साथ है हम होगा (और विचरण के लिए किया जाएगा कि और की नहीं )। क्योंकि पिछले सहप्रसरण अवधि भविष्यवाणी त्रुटि के लिए शून्य है और इसलिए है नहीं क्योंकि आकलनकर्ता में शामिल है, लेकिन अनुमान त्रुटि के लिए नहीं शून्य और इसलिए नमूना का हिस्सा है और इसलिए यह में शामिल है आकलनकर्ता। हमारे पास है $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

कैसे से पिछले प्रतिस्थापन गणना की जाती है। जारी रखते हुए, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

अवशिष्ट के विचरण के लिए इसे अभिव्यक्ति में शामिल करते हुए, हम प्राप्त करते हैं

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

तो ओपी उपयोग कर रहे पाठ से नफरत करता है।

(मैंने कुछ बीजीय जोड़तोड़ों को छोड़ दिया है, कोई आश्चर्य नहीं कि इन दिनों ओएलएस बीजगणित को कम और कम सिखाया जाता है ...)

कुछ अंतर

$1/n$ प्रतिगमन के नमूने से एक प्रतिगामी के अवलोकन के विचलन का मतलब है, इस अवलोकन के साथ जुड़े अवशिष्ट के छोटे विचरण होंगे ... अधिक विचारणीय अवलोकन, कम अवशिष्ट इसके अवशिष्ट ... यह प्रतिगामी की परिवर्तनशीलता है। अज्ञात त्रुटि-परिवर्तनशीलता के "जगह लेने" द्वारा हमारे लिए काम करता है।

$y^0$ $x^0$ $\hat y^0$ अधिक वैज्ञानिक भाषा में भटक जाएगा ... "कम भविष्यवाणी त्रुटि विचरण के अर्थ में इष्टतम भविष्यवक्ता, भविष्यवाणी के तहत चर के मतलब की ओर एक संकोचन का प्रतिनिधित्व करते हैं "। हम आश्रित चर की परिवर्तनशीलता को दोहराने की कोशिश नहीं करते हैं-हम सिर्फ "औसत के करीब" रहने की कोशिश करते हैं।

— एलेकोस पापाडोपोलोस
स्रोत

बहुत स्पष्ट उत्तर के लिए धन्यवाद! मुझे खुशी है कि मेरा "अंतर्ज्ञान" सही था।

— एरिक

एलेकोस, मुझे नहीं लगता कि यह सही है।

— Glen_b -Reinstate Monica

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

@ इससे पहले कि मैं आपको गुमराह करने के लिए माफी माँगता हूँ। मैंने दोनों सूत्रों के लिए कुछ अंतर्ज्ञान प्रदान करने की कोशिश की है।

— एलेकोस पापाडोपोलस

+1 आप देख सकते हैं कि मैंने इसके लिए कई प्रतिगमन मामले क्यों किए ... सरल-प्रतिगमन मामले को करने के अतिरिक्त प्रयास पर जाने के लिए धन्यवाद।

— Glen_b -Reinstate मोनिका

कुछ हद तक जवाब के लिए क्षमा करें, शायद अति-सार और सहज ज्ञान युक्त व्यय की वांछनीय राशि की कमी है, लेकिन मैं वापस आने और बाद में कुछ और विवरण जोड़ने की कोशिश करूंगा। कम से कम यह छोटा है।

$H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((I - H) y) \\ = & (I - H) Var (y) (I - H)^{T} \\ = & σ^{2} (I - H)^{2} \\ = & σ^{2} (I - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

इसलिये

Var (y_{i} - {\hat{y}}_{i}) = σ^{2} (1 - h_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

सरल रेखीय प्रतिगमन के मामले में ... यह आपके प्रश्न का उत्तर देता है।

$\hat{y}_i$ $y_i$

$(I-H)$

$H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

$(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b -Reinstate मोनिका
स्रोत

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

@ जेक ने अंत में कुछ पंक्तियाँ

— जोड़ीं