आशावाद पूर्वाग्रह - भविष्यवाणी की त्रुटि का अनुमान है

9

सांख्यिकीय शिक्षण की पुस्तक तत्व (पीडीएफ ऑनलाइन में उपलब्ध) आशावादी पूर्वाग्रह (7.21, पृष्ठ 229) पर चर्चा करती है। यह बताता है कि आशावाद पूर्वाग्रह प्रशिक्षण त्रुटि और इन-सैंपल त्रुटि के बीच का अंतर है (यदि हम मूल प्रशिक्षण बिंदुओं में से प्रत्येक पर नए परिणाम मानों का नमूना करते हैं) तो त्रुटि देखी गई है।

यहाँ छवि विवरण दर्ज करें

इसके बाद, यह बताता है कि यह आशावाद पूर्वाग्रह ( ) हमारे अनुमानित y मूल्यों और वास्तविक y मूल्यों (नीचे प्रति सूत्र) के सहसंयोजक के बराबर है। मुझे यह समझने में परेशानी है कि यह सूत्र आशावाद पूर्वाग्रह को क्यों इंगित करता है; भोलेपन से मैंने सोचा होगा कि वास्तविक और अनुमानित बीच एक मजबूत सहसंयोजक केवल सटीकता का वर्णन करता है - आशावाद नहीं। मुझे बताएं कि क्या कोई सूत्र की व्युत्पत्ति में मदद कर सकता है या अंतर्ज्ञान साझा कर सकता है। $\omega$ $y$ $y$

यहाँ छवि विवरण दर्ज करें

error bias validation

— user1885116
स्रोत

बहुत उपयोगी, धन्यवाद! मुझे लगता है कि समीकरणों में से एक में एक मामूली टाइपो है और होना चाहिए:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— स्लीपस्टर

8

आइए अंतर्ज्ञान से शुरू करें।

भविष्यवाणी करने के लिए का उपयोग करने में कुछ भी गलत नहीं है । वास्तव में, इसका उपयोग नहीं करने का मतलब होगा कि हम बहुमूल्य जानकारी फेंक रहे हैं। हालाँकि जितना अधिक हम अपनी भविष्यवाणी के साथ आने के लिए में निहित जानकारी पर निर्भर करते हैं , उतना ही अधिक हमारे आशावादी आशावादी होंगे। $y_i$ $\hat{y}_i$ $y_i$

एक चरम पर, अगर सिर्फ , तो आप नमूना भविष्यवाणी ( ) में परिपूर्ण होंगे , लेकिन हमें पूरा यकीन है कि आउट-ऑफ-नमूना भविष्यवाणी खराब होने वाली है। इस मामले में (यह अपने आप से जांचना आसान है), स्वतंत्रता की डिग्री । $\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

अन्य चरम पर, यदि आप का नमूना मतलब का उपयोग : सभी के लिए , फिर स्वतंत्रता के अपने डिग्री सिर्फ 1 हो जाएगा। $y$ $y_i = \hat{y_i} = \bar{y}$ $i$

इस अंतर्ज्ञान पर अधिक जानकारी के लिए रयान टिब्शिरानी द्वारा इस अच्छे हैंडआउट की जाँच करें

अब अन्य उत्तर के समान प्रमाण, लेकिन थोड़ा और स्पष्टीकरण के साथ

याद रखें कि, परिभाषा के अनुसार, औसत आशावाद है:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

अब एक द्विघात हानि फ़ंक्शन का उपयोग करें और चुकता शर्तों का विस्तार करें:

= इ_{y} (\frac{1}{एन} Σ_{मैं = 1}^{एन} इ_{Y^{0}} [(Y_{मैं}^{0} - {\hat{y}}_{मैं})^{2}] - \frac{1}{एन} Σ_{मैं = 1}^{एन} (y_{मैं} - {\hat{y}}_{मैं})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{एन} Σ_{मैं = 1}^{एन} (इ_{y} इ_{Y^{0}} [(Y_{मैं}^{0})^{2}] + इ_{y} इ_{Y^{0}} [{\hat{y}}_{मैं}^{2}] - 2 इ_{y} इ_{Y^{0}} [Y_{मैं}^{0} {\hat{y}}_{मैं}] - इ_{y} [y_{मैं}^{2}] - इ_{y} [{\hat{y}}_{मैं}^{2}] + 2 इ [y_{मैं} {\hat{y}}_{मैं}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

लिए करें: $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{एन} Σ_{मैं = 1}^{एन} (इ_{y} [y_{मैं}^{2}] + इ_{y} [{\hat{y_{मैं}}}^{2}] - 2 इ_{y} [y_{मैं}] इ_{y} [{\hat{y}}_{मैं}] - इ_{y} [y_{मैं}^{2}] - इ_{y} [{\hat{y}}_{मैं}^{2}] + 2 इ [y_{मैं} {\hat{y}}_{मैं}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{एन} Σ_{मैं = 1}^{एन} (इ [y_{मैं} {\hat{y}}_{मैं}] - इ_{y} [y_{मैं}] इ_{y} [{\hat{y}}_{मैं}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

समाप्त करने के लिए, ध्यान दें कि , जो पैदावार करता है: $Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{एन} Σ_{मैं = 1}^{एन} सी ओ v (y_{मैं}, {\hat{y}}_{मैं})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
स्रोत

5

मुझे यह बताना होगा कि उनका नाम "रयान टिब्शिरानी" रॉब टिब्शिरानी

— रोबर्ट तिब्शीरानी

2

हमारी साइट में आपका स्वागत है, रोब - यह आपके लिए यहाँ एक विशेषाधिकार है, अगर केवल एक त्रुटि को ठीक करने के लिए! यदि आपको कोई और दिखाई देता है, तो कृपया हमें बताएं: और निश्चित रूप से हमें आपके (या आपके छात्रों) पोस्ट करने के लिए किसी भी उत्तर की खुशी होगी। इस साइट पर आपके काम को बड़े पैमाने पर संदर्भित किया गया है, विशेष रूप से ESL और इंट्रो को बूटस्ट्रैप।

— whuber

मन की व्याख्या ? इसके अलावा, ?

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

— शौकी

7

Let , फिर $\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & = इ_{y} [ओ पी] \\ = इ_{y} [इ आर {आर}_{मैं n} - \bar{इ आर आर}] \\ = इ_{y} [इ आर {आर}_{मैं n}] - इ_{y} [\bar{इ आर आर}] \\ = इ_{y} [\frac{1}{एन} Σ_{मैं = 1}^{एन} इ_{Y^{0}} [एल (Y_{मैं}^{0}, \hat{च} ({एक्स}_{मैं}))] - इ_{y} [\frac{1}{एन} Σ_{मैं = 1}^{एन} एल (y_{मैं}, \hat{च} ({एक्स}_{मैं}))] \\ = \frac{1}{एन} Σ_{मैं = 1}^{एन} इ_{y} इ_{Y^{0}} [(Y_{मैं}^{0} - {\hat{y}}_{मैं})^{2}] - इ_{y} [(y_{मैं} - {\hat{y}}_{मैं})^{2}] \\ = \frac{1}{एन} Σ_{मैं = 1}^{एन} इ_{y} इ_{Y^{0}} [(Y_{मैं}^{0})^{2}] + इ_{y} इ_{Y^{0}} [{\hat{y}}_{मैं}^{2}] - 2 इ_{y} इ_{Y^{0}} [Y_{मैं}^{0} {\hat{y}}_{मैं}] - इ_{y} [y_{मैं}^{2}] - इ_{y} [{\hat{y}}_{मैं}^{2}] + 2 इ_{y} [y_{मैं} {\hat{y}}_{मैं}] \\ = \frac{1}{एन} Σ_{मैं = 1}^{एन} इ_{y} [y_{मैं}^{2}] + इ_{y} [{\hat{y}}_{मैं}^{2}] - 2 इ_{y} [y_{मैं}] इ_{y} [{\hat{y}}_{मैं}] - इ_{y} [y_{मैं}^{2}] - इ_{y} [{\hat{y}}_{मैं}^{2}] + 2 इ_{y} [y_{मैं} {\hat{y}}_{मैं}] \\ = \frac{2}{एन} Σ_{मैं = 1}^{एन} इ_{y} [y_{मैं} {\hat{y}}_{मैं}] - इ_{y} [y_{मैं}] इ_{y} [{\hat{y}}_{मैं}] \\ = \frac{2}{एन} Σ_{मैं = 1}^{एन} इ_{y} [y_{मैं} {\hat{y}}_{मैं} - y_{मैं} इ_{y} [{\hat{y}}_{मैं}] - इ_{y} [y_{मैं}] {\hat{y}}_{मैं} + इ_{y} [y_{मैं}] इ_{y} [{\hat{y}}_{मैं}]] \\ = \frac{2}{एन} Σ_{मैं = 1}^{एन} इ_{y} [({\hat{y}}_{मैं} - इ_{y} [{\hat{y}}_{मैं}]) ([y_{मैं} - इ_{y} [y_{मैं}])] \\ = \frac{2}{एन} Σ_{मैं = 1}^{एन} सी ओ v ({\hat{y}}_{मैं}, y_{मैं}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— मैकीज लाज़ेरविक्ज़
स्रोत

1

की इस संपत्ति द्वारा अंतिम चार चरणों को सरल बनाया जा सकता है:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98