अपेक्षित पूर्वानुमान त्रुटि - व्युत्पत्ति

मैं प्रति व्यक्ति (ईएसएल) प्रति पूर्वानुमानित त्रुटि की व्युत्पत्ति को समझने के लिए संघर्ष कर रहा हूं, विशेष रूप से 2.11 और 2.12 (कंडीशनिंग, बिंदु-वार न्यूनतम की ओर कदम) की व्युत्पत्ति पर। किसी भी संकेत या लिंक बहुत सराहना की।

नीचे मैं ईएसएल पृष्ठ से अंश की रिपोर्ट कर रहा हूं। 18. पहले दो समीकरण हैं, क्रम में, समीकरण 2.11 और 2.12।

चलो कोई वास्तविक मूल्यवान यादृच्छिक इनपुट वेक्टर, AND दर्शा एक असली मूल्यवान यादृच्छिक उत्पादन चर, संयुक्त वितरण के साथ । हम इनपुट दिए गए मानों की भविष्यवाणी के लिए एक फ़ंक्शन चाहते हैं । इस थ्योरी के लिए पूर्वानुमान में त्रुटियों को दंडित करने के लिए एक हानि फ़ंक्शन आवश्यकता होती है , और अब तक सबसे सामान्य और सुविधाजनक चुकता त्रुटि हानि है : । यह हमें चुनने के लिए एक कसौटी की ओर ले जाता है , $X \in \mathbb{R}^p$ $Y \in \mathbb{R}$ $\text{Pr}(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y-f(X))^2$ $f$

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

अपेक्षित (चुकता) पूर्वानुमान त्रुटि। पर कंडीशनिंग करके , हम EPE को इस प्रकार लिख सकते हैं $X$

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

और हम देखते हैं कि यह EPE बिंदु-वार को कम करने के लिए पर्याप्त है:

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

उपाय है

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

सशर्त अपेक्षा, जिसे प्रतिगमन समारोह के रूप में भी जाना जाता है।

regression prediction error

— user1885116
स्रोत

कुल अपेक्षा के कानून पर विकिपीडिया लेख में पहले समीकरण में और अदला-बदली (2.9) और (2.11) की समानता देता है। प्रमाण के लिए वह लेख पढ़ें। (२.१२) तत्काल है, इस समझ पर कि ईपीई को कम करने के लिए को चुना जाना है।

X

$X$

Y

$Y$

f

$f$

— whuber

साइड नोट: यह सांख्यिकीय लर्निंग के तत्वों में

— ज़ुबर्ब

इस पुस्तक को पढ़ने वाले लोगों के लिए,

— वेथर्मैक्स

@ डोडी वह लिंक मर गया है: (

— मैथ्यू ड्र्यू

@MatthewDrury सौभाग्य से "वेदरमैक्स और एपस्टीन सांख्यिकी" की एक गुगली ने

— Authors

जवाबों:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

— user48002
स्रोत

मैं समझता हूं कि आपने क्या लिखा है, लेकिन क्या आपको लगता है कि अगर ओपी को इस सवाल में दिखाया गया व्युत्पत्ति से भ्रमित किया गया था, कि वह आपके जवाब को समझेगा? बेशक, मैंने पहले ही प्रश्न में दिखाए गए व्युत्पत्ति को समझ लिया था।

— मार्क एल। स्टोन

मैं एक ही सवाल के साथ Google से यहां आया था और वास्तव में इस व्युत्पत्ति को वैसा ही पाया जैसा मुझे चाहिए था।

— सेमीकॉलन और डक्ट टेप

@ MarkL.Stone - यह एक बेवकूफी भरा सवाल हो सकता है, लेकिन क्या आप बता सकते हैं कि

क्या मतलब है

P r (d x, d y)

$Pr(dx,dy)$ और यह

कैसे बन जाता है

p (x, y) d x d y

$p(x,y)dxdy$ ? धन्यवाद एक गुच्छा

— जेवियर बोरेट सिसिलोट

पूर्व का जो अर्थ है वह बाद का है। मुझे लगता है कि इसके बजाय dP (x, y) या dF (x, y) का उपयोग करना अधिक सामान्य है। 1D में, आप अक्सर dF (x) का अर्थ f (x) dx देखेंगे, जहाँ f (x) प्रायिकता घनत्व फ़ंक्शन है, लेकिन अंकन असतत प्रायिकता मास फ़ंक्शन (संक्षेप में) या यहां तक कि मिश्रण का भी अनुमति दे सकता है निरंतर घनत्व और असतत संभावना द्रव्यमान।

— मार्क एल। स्टोन

कहना ज्यादा सटीक नहीं होगा (अंतिम सूत्र)

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

— D1X

समीकरण (2.11) निम्नलिखित छोटी समानता का एक परिणाम है। किसी भी दो यादृच्छिक चर और , और कोई फ़ंक्शन $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = E_{Z_{2}} (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

संकेतन संयुक्त वितरण की अपेक्षा है । अंकन अनिवार्य रूप से कहते हैं, "की सशर्त वितरण पर एकीकृत के रूप में अगर तय किया गया था"। $E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

इस मामले में यह सत्यापित करना आसान है कि और केवल शामिल परिभाषाओं को खोलकर यादृच्छिक चर असतत हैं $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2})) \\ = E_{Z_{2}} (\sum_{z_{1}} g (z_{1}, Z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2})) \\ = \sum_{z_{2}} (\sum_{z_{1}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2})) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2}) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1}, Z_{2} = z_{2}) \\ = E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

निरंतर मामले को या तो अनौपचारिक रूप से इस तर्क की सीमा के रूप में देखा जा सकता है, या औपचारिक रूप से सत्यापित हो जाने के बाद कि सभी उपाय सिद्धांतिक डो-डैड जगह पर हैं।

आवेदन को कम करने के लिए, , , और । सब कुछ ठीक-ठाक। $Z_1 = Y$ $Z_2 = X$ $g(x, y) = (y - f(x))^2$

दावे (2.12) हमें कम से कम विचार करने के लिए कहते हैं

E_{X} E_{Y ∣ X} (Y - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

जहाँ हम अपनी इच्छानुसार चुनने के लिए स्वतंत्र हैं । फिर, असतत मामले पर ध्यान केंद्रित करते हुए, और आधे रास्ते को ऊपर की ओर खोलना में, हम देखते हैं कि हम कम कर रहे हैं $f$

\sum_{x} (\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)) P r (X = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

बड़े कोष्ठक के अंदर सब कुछ गैर-नकारात्मक है, और आप व्यक्तिगत रूप से सारांश को न्यूनतम करके गैर-नकारात्मक मात्रा का योग कर सकते हैं। संदर्भ में, इसका मतलब है कि हम को न्यूनतम करने के लिए चुन सकते हैं $f$

\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

प्रत्येक असतत मूल्य के लिए व्यक्तिगत रूप से । यह बिल्कुल वही सामग्री है जो ईएसएल दावा कर रही है, केवल कट्टरपंथी संकेतन के साथ। $x$

— मैथ्यू ड्र्यू
स्रोत

मुझे इस पुस्तक एक्सप्रेस में कुछ हिस्से ऐसे मिले हैं, जिन्हें समझना मुश्किल है, खासकर उन लोगों के लिए, जिनकी सांख्यिकी में मजबूत पृष्ठभूमि नहीं है।

I will try to make it simple and hope that you can get rid of confusion.

Claim 1 (Smoothing) $E(X) = E(E(X|Y)),\forall X,Y$

Proof: Notice that E(Y) is a constant but E(Y|X) is a random variable depending on X.

\begin{aligned} E (E (X | Y)) & = \int E (X | Y = y) f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) d x f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = \int \int x f_{X Y} (x, y) d x d y \\ = \int x (\int f_{X Y} (x, y) d y) d x \\ = \int x f_{X} (x) d x = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

Claim 2: $E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

Proof:

\begin{aligned} E ((Y - f (X))^{2} | X) & = E (([Y - E (Y | X)] + [E (Y | X) - f (X)])^{2} | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 E ((Y - E (Y | X)) (E (Y | X) - f (X)) | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 (E (Y | X) - f (X)) E (Y - E (Y | X)) | X) \\ (since E (Y | X) - f (X) is constant given X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) ( use Claim 1) \\ \geq E ((Y - E (Y | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

Taking expectation both sides of the above equation give Claim 2 (Q.E.D)

Therefore, the optimal f is $f(X) = E(Y|X)$

— thanhtang
स्रोत