LOOCV फॉर्मूला का प्रमाण

से सांख्यिकीय लर्निंग के लिए एक परिचय जेम्स द्वारा एट अल।, छुट्टी-एक-बाहर पार सत्यापन (LOOCV) अनुमान से परिभाषित किया गया है जहां ।

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {MSE}_{i}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

प्रमाण के बिना, समीकरण (5.2) बताता है कि कम से कम वर्गों या बहुपद प्रतिगमन के लिए (चाहे यह केवल एक चर पर प्रतिगमन पर लागू होता है मेरे लिए अज्ञात है), जहां " है मूल कम से कम वर्गों से वें सज्जित मूल्य (फिट पता नहीं इसका क्या मतलब, वैसे , इसका उपयोग करने से मतलब है सभी डेटा सेट? में अंकों की) और लाभ उठाने "जिसके द्वारा परिभाषित किया गया है है

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {(\frac{y_{i} - {\hat{y}}_{i}}{1 - h_{i}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{i} = \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

यह कैसे साबित होता है?

मेरे प्रयास: एक देख कि द्वारा शुरू कर सकता है

{\hat{y}}_{i} = β_{0} + \sum_{i = 1}^{k} β_{k} X_{k} + some polynomial terms of degree \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$ लेकिन अलग इससे (और अगर मुझे याद है, तो

लिए यह सूत्र

h_{i}

$h_i$ केवल सरल रैखिक प्रतिगमन के लिए सही है ...), मुझे यकीन नहीं है कि यहां से कैसे आगे बढ़ना है।

— बाजा बजानेवाला
स्रोत

या तो आपके समीकरण

i

$i$ एक से अधिक चीजों के लिए उपयोग करने लगते हैं या मैं अत्यधिक भ्रमित हूं। किसी भी तरह से अतिरिक्त स्पष्टता अच्छी होगी।

— Glen_b -Reinstate Monica

@Glen_b मैं कल ही LOOCV के बारे में जान गया था, इसलिए मैं शायद कुछ चीजों को ठीक से समझ नहीं पाया। जो मैं समझता हूं, आपके पास डेटा बिंदुओं का एक सेट है, । LOOCV साथ, आप प्रत्येक (पूर्णांक सकारात्मक) तय करने के लिए है कुछ सत्यापन सेट और एक परीक्षण सेट प्रत्येक लिए एक फिट मॉडल उत्पन्न करता था । तो कहते हैं, उदाहरण के लिए, हम तीन डेटा बिंदुओं, साथ सरल रेखीय प्रतिगमन का उपयोग करके अपने मॉडल को फिट करते हैं । हमारे पास (जारी रखने के लिए) होगा

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

— क्लैरिएनिस्ट

@Glen_b और । में बिंदुओं का उपयोग करके , हम पा सकते हैं कि एक सरल रेखीय प्रतिगमन का उपयोग करके, हमें मॉडल । फिर हम गणना का उपयोग कर सत्यापन सेट के रूप में और प्राप्त (बस बिंदु दिए गए प्रयोग करके) और , । ठीक है, शायद सुपरस्क्रिप्ट का उपयोग करना सबसे अच्छा विचार नहीं था - मैं इसे मूल पोस्ट में बदल दूंगा।

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— क्लैरिनेटिस्ट

यहाँ व्युत्पन्न पृष्ठों

— जेवियर

मैं किसी भी कई रैखिक प्रतिगमन के लिए परिणाम दिखाऊंगा, चाहे को बहुपद हैं या नहीं। वास्तव में, यह आपके द्वारा पूछे जाने की तुलना में थोड़ा अधिक दिखाता है, क्योंकि यह दर्शाता है कि प्रत्येक एलओओसीवी अवशिष्ट पूर्ण प्रतिगमन से संबंधित लीवरेज-वेटेड अवशिष्ट के समान है, न कि केवल आप (5.2) के रूप में एलओओसीवी त्रुटि प्राप्त कर सकते हैं। अन्य तरीके हो सकते हैं जिसमें औसत सहमत हैं, भले ही औसत में प्रत्येक शब्द समान न हो)। $X_t$

मुझे थोड़ा अनुकूलित नोटेशन का उपयोग करने के लिए स्वतंत्रता लेनी चाहिए।

हम पहले दिखाते हैं कि जहां सभी डेटा और कर अनुमान है बाहर निकलते समय अनुमान , अवलोकन । आइए एक पंक्ति वेक्टर के रूप में परिभाषित किया जा ऐसी है कि । अवशिष्ट हैं।

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{u}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (A) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

प्रमाण निम्नलिखित मैट्रिक्स बीजीय परिणाम का उपयोग करता है।

आज्ञा देना nonsingular मैट्रिक्स, एक वेक्टर और एक अदिश। यदि तब $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{b^{'} A^{- 1} b} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (A + λ b b^{'})^{- 1} & = A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

(बी) के प्रमाण का सत्यापन तुरंत से

\begin{aligned} {A^{- 1} - (\frac{λ}{1 + λ b^{'} A^{- 1} b}) A^{- 1} b b^{'} A^{- 1}} (A + λ b b^{'}) = I . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

निम्नलिखित परिणाम साबित करने के लिए सहायक है (ए)

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

(सी) का सबूत: तक (बी) हमारे पास है, का उपयोग करते हुए , तो हम $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} & = (X^{'} X - X_{t}^{'} X_{t})^{- 1} \\ = (X^{'} X)^{- 1} + \frac{(X^{'} X)^{- 1} X_{t}^{'} X_{t} (X^{'} X)^{- 1}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} & = (X^{'} X)^{- 1} X_{t}^{'} + (X^{'} X)^{- 1} X_{t}^{'} (\frac{X_{t} (X^{'} X)^{- 1} X_{t}^{'}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}}) \\ = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

(A) का प्रमाण अब (C) से निम्नानुसार है: As हम और , इसलिए जहां (सी) से अंतिम समानता निम्नानुसार है।

\begin{aligned} X^{'} X \hat{β} & = X^{'} y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)} + X_{t}^{'} X_{t}) \hat{β} & = X_{(t)}^{'} y_{(t)} + X_{t}^{'} y_{t}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {I_{k} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} X_{t}} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} (X_{t} \hat{β} + {\hat{u}}_{t}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} {\hat{u}}_{t} \\ = {\hat{β}}_{(t)} + (X^{'} X)^{- 1} X_{t}^{'} \frac{{\hat{u}}_{t}}{1 - h_{t}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

अब, नोट । द्वारा (A) के माध्यम से गुणा करें , दोनों तरफ जोड़ें और के साथ प्राप्त करने के लिए पुनर्व्यवस्थित करें, जिसके परिणामस्वरूप ( , या $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{u}}_{(t)} = {\hat{u}}_{t} + (\frac{{\hat{u}}_{t}}{1 - h_{t}}) h_{t}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{u}}_{(t)} = \frac{{\hat{u}}_{t} (1 - h_{t}) + {\hat{u}}_{t} h_{t}}{1 - h_{t}} = \frac{{\hat{u}}_{t}}{1 - h_{t}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— क्रिस्टोफ़ हांक
स्रोत

आपके उत्तर में की परिभाषा गायब है। मुझे लगता है कि यह एक मैट्रिक्स जिसमें पंक्ति हटा दिया गया है।

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

— एमपिकटास

इस तथ्य का भी उल्लेख करना कि भी उपयोगी होगा।

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

— एमपिकेटास

@mpiktas, हाँ, संकेत के लिए धन्यवाद। मैंने पहली टिप्पणी को ध्यान में रखा। वास्तव में दूसरी मदद कहां होगी? या बस इसे अपनी टिप्पणी में छोड़ दें?

— क्रिस्टोफ हनक

जब आप (C) का प्रमाण शुरू करते हैं तो आप लिखते हैं । यह एक अच्छी चाल है, लेकिन मुझे संदेह है कि आकस्मिक पाठक इसके बारे में जानते हैं।

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

— mpiktas

दो साल बाद ... मैं इस जवाब की और भी सराहना करता हूं, अब जब मैं स्नातक स्तर के रैखिक मॉडल अनुक्रम से गुजर चुका हूं। मैं इस सामग्री को इस नए दृष्टिकोण के साथ फिर से सीख रहा हूं। क्या आपके पास कोई सुझावित संदर्भ (पाठ्यपुस्तकें) हैं जो व्युत्पत्तियों से गुजरते हैं जैसे कि आपके पास इस उत्तर में विस्तार से क्या है?

— शहनाई