पक्षपात-विचरण व्यापार की व्युत्पत्ति को समझना

मैं सांख्यिकीय सीखने के तत्वों के पूर्वाग्रह-विचरण व्यापार के अध्याय को पढ़ रहा हूं और मुझे पृष्ठ 29 पर सूत्र में संदेह है। डेटा एक मॉडल से उत्पन्न होने दें, जैसे कि जहाँ यादृच्छिक है अपेक्षित मान के साथ संख्या और वेरिएंट । बता दें कि मॉडल की त्रुटि का अपेक्षित मूल्य जहां हमारे शिक्षार्थी के की भविष्यवाणी है । पुस्तक के अनुसार, त्रुटि

Y = f (x) + ϵ

$Y = f(x)+\epsilon$

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

मेरा सवाल यह है कि पूर्वाग्रह शब्द 0 क्यों नहीं है? त्रुटि का सूत्र विकसित करते हुए मुझे

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

as एक स्वतंत्र यादृच्छिक संख्या $\epsilon$ $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

मैं कहां गलत हूं?

— इमानुएल
स्रोत

आप गलत नहीं हैं, लेकिन आपने बाद से एक चरण में एक त्रुटि की । is । $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ $E[(f(x)-f_k(x))^2]$ $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

नोट: $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— Greenparker
स्रोत

द्विआधारी परिणामों के मामले में, क्या त्रुटि को मापने के रूप में क्रॉस एन्ट्रॉपी के साथ एक समान प्रमाण है?

— Emanuele

यह द्विआधारी प्रतिक्रिया के साथ बहुत अच्छी तरह से काम नहीं करता है। "द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग" के दूसरे संस्करण में Ex 7.2 देखें।

— मैथ्यू डॉरी

क्या आप बता सकते हैं कि आप से ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— एंटोनी

पूर्वाग्रह के कुछ और चरण - विघटन अपघटन

वास्तव में, पाठ्यपुस्तकों में पूर्ण व्युत्पत्ति शायद ही कभी दी जाती है क्योंकि इसमें बहुत से बिना बीजगणित के बीजगणित शामिल होते हैं। पृष्ठ 223 पर "एलिमेंट ऑफ़ स्टैटिस्टिकल लर्निंग" पुस्तक से अंकन का उपयोग करके यहां एक और अधिक पूर्ण व्युत्पत्ति है

यदि हम मान लेते हैं कि और और तो हम एक प्रतिगमन फिट की अपेक्षित भविष्यवाणी त्रुटि के लिए अभिव्यक्ति प्राप्त कर सकते हैं। चुकता त्रुटि हानि का उपयोग करके इनपुट पर $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

सादगी के लिए let , और याद रखें कि और $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

शब्द के लिए हम उपरोक्त समान ट्रिक का उपयोग कर सकते हैं, पाने के लिए को जोड़ और घटा सकते हैं। $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B i a s^{2} [\hat{f}] + V a r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

इसे एक साथ रखना

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B i a s^{2} [\hat{f}] + V a r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

पर कुछ टिप्पणियां $E[\hat f Y] = f E[\hat f]$

यहां एलेकोस पापाडोपोलस से लिया गया

याद रखें कि वह भविष्यवाणिका है जिसका निर्माण हमने डेटा पॉइंट्स इसलिए हम याद रखने के लिए लिख सकते हैं । $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

दूसरी ओर भविष्यवाणी हम एक नए डेटा बिंदु पर कर रहे हैं है मॉडल पर निर्माण का उपयोग करके ऊपर डेटा बिंदुओं। तो मीन चुकता त्रुटि के रूप में लिखा जा सकता है $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{f}}_{m} (x^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

पिछले अनुभाग से समीकरण का विस्तार करना

E [{\hat{f}}_{m} Y] = E [{\hat{f}}_{m} (f + ϵ)] = E [{\hat{f}}_{m} f + {\hat{f}}_{m} ϵ] = E [{\hat{f}}_{m} f] + E [{\hat{f}}_{m} ϵ]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

समीकरण के अंतिम भाग को इस रूप में देखा जा सकता है

E [{\hat{f}}_{m} (x^{(m + 1)}) \cdot ϵ^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

चूँकि हम बिंदु बारे में निम्नलिखित धारणाएँ बनाते हैं : $x^{(m+1)}$

इसका उपयोग उस समय नहीं किया गया था जब निर्माण किया गया था $\hat f_m$
यह अन्य सभी अवलोकनों से स्वतंत्र है $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
यह से स्वतंत्र है $\epsilon^{(m+1)}$

पूर्ण व्युत्पत्तियों के साथ अन्य स्रोत

— जेवियर बॉरेट सिस्कोट
स्रोत

क्यों ? मुझे नहीं लगता कि और स्वतंत्र हैं, क्योंकि अनिवार्य रूप से का उपयोग करके बनाया गया है ।

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— फेलिप पेरेज़

लेकिन प्रश्न अनिवार्य रूप से एक ही है, क्यों ? की यादृच्छिकता त्रुटि से आती है, इसलिए मैं यह नहीं देखता कि क्यों और स्वतंत्र होंगे, और इसलिए, ।

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— फेलिप पेरेज़

आपके पूर्वाग्रह से ऐसा लगता है कि नमूना बनाम आउट ऑफ़ सैंपल परिप्रेक्ष्य महत्वपूर्ण है। यह ऐसा है? यदि हम केवल नमूने में काम करते हैं और फिर, को अवशिष्ट के रूप में देखते हैं कि पूर्वाग्रह विचलन ट्रेडऑफ गायब हो जाता है?

ϵ

$\epsilon$

— markowitz

@ FelipePérez जहाँ तक मैं समझता हूँ, ट्रेन-टेस्ट स्प्लिट (जो कि प्रशिक्षण सेट में समाप्त हो गया और प्रशिक्षित भविष्यवक्ता के रूप में दिया गया) से यादृच्छिकता _ की यादृच्छिकता आती है । दूसरे शब्दों में, का विचरण किसी दिए गए निश्चित डेटा-सेट के सभी संभावित सबसेट से आता है जिसे हम प्रशिक्षण सेट के रूप में ले सकते हैं। क्योंकि डेटा-सेट निश्चित है, इसलिए से कोई यादृच्छिकता नहीं आ रही है और इसलिए और स्वतंत्र हैं।

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— अल्बर्टो सेंटिनी

पक्षपात-विचरण व्यापार की व्युत्पत्ति को समझना

पूर्वाग्रह के कुछ और चरण - विघटन अपघटन

पर कुछ टिप्पणियांइ[ च^Y] = चइ[ च^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

पूर्ण व्युत्पत्तियों के साथ अन्य स्रोत

पर कुछ टिप्पणियां $E[\hat f Y] = f E[\hat f]$