Bias-Variance समीकरण का गणितीय अंतर्ज्ञान

मैंने हाल ही में एक सवाल पूछा है जो नमूना अर्थ और भिन्नता से संबंधित प्राथमिक समीकरण के पीछे गणितीय व्याख्या / अंतर्ज्ञान की मांग कर रहा है : , ज्यामितीय या अन्यथा। $E[X^2] = Var(X) +(E[X])^2$

लेकिन अब मैं सतही रूप से इसी तरह के पूर्वाग्रह-भिन्नता व्यापार समीकरण को लेकर उत्सुक हूं।

\begin{array}{rcl} MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}] & = & E [(\hat{θ} - E [\hat{θ}])^{2}] + (E [\hat{θ}] - θ)^{2} \\ = & Var (\hat{θ}) + Bias (\hat{θ}, θ)^{2} \end{array}

$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$ ( विकिपीडिया से सूत्र )

मेरे लिए प्रतिगमन के लिए पूर्वाग्रह-भिन्नता व्यापार समीकरण के साथ एक सतही समानता है: वर्गों के साथ तीन शब्द और दूसरे में दो को जोड़ना। बहुत पाइथागोरस लग रही है। क्या इन सभी वस्तुओं के लिए ओर्थोगोनलिटी सहित एक समान वेक्टर संबंध है? या क्या कुछ अन्य संबंधित गणितीय व्याख्या है जो लागू होती है?

मैं कुछ अन्य गणितीय वस्तुओं के साथ एक गणितीय सादृश्य की तलाश कर रहा हूं जो प्रकाश को बहा सकता है। मैं सटीकता-सटीक सादृश्य की तलाश नहीं कर रहा हूं जो यहां अच्छी तरह से कवर किया गया है। लेकिन अगर गैर-तकनीकी समानताएं हैं जो लोग पूर्वाग्रह-विचरण व्यापार के बीच और बहुत अधिक मूल माध्य-विचरण संबंध के बीच दे सकते हैं, तो यह भी बहुत अच्छा होगा।

variance bias

— मिच
स्रोत

जवाबों:

समानता सतही से अधिक है।

"पूर्वाग्रह-विचरण व्यापार" की व्याख्या पाइथागोरस प्रमेय के रूप में की जा सकती है जो दो लंबवत यूक्लिडियन वैक्टर पर लागू होता है: एक की लंबाई मानक विचलन है और दूसरे की लंबाई पूर्वाग्रह है। कर्ण की लंबाई जड़ माध्य चुकता त्रुटि है।

एक मौलिक संबंध

प्रस्थान के बिंदु के रूप में, इस खुलासा गणना पर विचार करें, किसी परिमित दूसरे के साथ किसी भी यादृच्छिक चर लिए मान्य है और कोई भी वास्तविक संख्या । चूँकि दूसरा क्षण परिमित है, का एक परिमित माध्य , जिसके लिए , whence $X$ $a$ $X$ $\mu=\mathbb{E}(X)$ $\mathbb{E}(X-\mu)=0$

\begin{matrix} (1) & \begin{aligned} E ((X - a)^{2}) & = E ((X - μ + μ - a)^{2}) \\ = E ((X - μ)^{2}) + 2 E (X - μ) (μ - a) + (μ - a)^{2} \\ = Var (X) + (μ - a)^{2} . \end{aligned} \end{matrix}

$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$

यह दिखाता है कि दोनों के बीच मतलब वर्ग विचलन और किसी भी "आधारभूत" मूल्य साथ बदलता रहता है : यह की द्विघात क्रिया है पर एक न्यूनतम के साथ , जहां मतलब वर्ग विचलन के विचरण है । $X$ $a$ $a$ $a$ $\mu$ $X$

अनुमानकर्ताओं और पूर्वाग्रह के साथ संबंध

किसी भी अनुमानक एक यादृच्छिक चर है क्योंकि (परिभाषा के अनुसार) यह यादृच्छिक चर का एक (औसत दर्जे का) कार्य है। यह की भूमिका निभाते हैं दे पूर्ववर्ती, और दे में estimand (बात अनुमान माना जाता है) हो , हमारे पास है $\hat \theta$ $X$ $\hat\theta$ $\theta$

MSE (\hat{θ}) = E ((\hat{θ} - θ)^{2}) = Var (\hat{θ}) + (E (\hat{θ}) - θ)^{2} .

$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$

आइए अब लौटते हैं, हमने देखा है कि एक अनुमानक के लिए पूर्वाग्रह + विचरण के बारे में कथन का शाब्दिक अर्थ क्या है । सवाल "गणितीय वस्तुओं के साथ गणितीय समानताएं" चाहता है। हम इससे अधिक कर सकते हैं कि यह दिखाते हुए कि वर्ग-पूर्णांक यादृच्छिक चर स्वाभाविक रूप से एक यूक्लिडियन अंतरिक्ष में बनाया जा सकता है। $(1)$ $(1)$

गणितीय पृष्ठभूमि

एक बहुत ही सामान्य अर्थ में, एक यादृच्छिक चर एक संभाव्य स्थान पर एक (औसत दर्जे का) वास्तविक मूल्यवान फ़ंक्शन है । ऐसे कार्यों का समूह जो वर्ग पूर्णांक होते हैं, जिन्हें अक्सर लिखा जाता है दी गई संभाव्यता संरचना के साथ), लगभग एक हिल्बर्ट स्थान है। यह एक में बनाने के लिए हम किसी भी दो यादृच्छिक परिवर्तनीय conflate करने के लिए है और जो वास्तव में एकीकरण के मामले में अलग नहीं है: यह है कि, हम कहते हैं और हैं बराबर जब भी $(\Omega, \mathfrak{S}, \mathbb{P})$ $\mathcal{L}^2(\Omega)$ $X$ $Y$ $X$ $Y$

E (| X - Y |^{2}) = \int_{Ω} | X (ω) - Y (ω) |^{2} d P (ω) = 0.

$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$

, सबसे महत्वपूर्ण बात है जब: यह जांच करने के लिए है कि यह एक सच तुल्यता संबंध है सीधा है के बराबर है और के बराबर है , तो जरूरी के बराबर होगी । इसलिए हम समतुल्य वर्गों में सभी वर्ग-पूर्णांक यादृच्छिक चर का विभाजन कर सकते हैं। ये वर्ग सेट बनाते हैं । इसके अलावा, वैश्याओं के बिंदुवार जोड़ और बिंदुवार अदिश गुणन द्वारा परिभाषित की वेक्टर अंतरिक्ष संरचना पाई जाती है। इस वेक्टर स्थान पर, फ़ंक्शन $X$ $Y$ $Y$ $Z$ $X$ $Z$ $L^2(\Omega)$ $L^2$ $\mathcal{L}^2$

X \to {(\int_{Ω} | X (ω) |^{2} d P (ω))}^{1 / 2} = \sqrt{E (| X |^{2})}

$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$

एक है आदर्श , अक्सर लिखा । यह मानदंड को हिल्बर्ट स्पेस में बनाता है। एक हिल्बर्ट अंतरिक्ष को" अनंत आयामी यूक्लिडियन अंतरिक्ष के रूप में सोचो । कोई भी परिमित-आयामी उप-प्रजाति इस गणित के साथ, मानक और से विरासत में मिला है। यह एक यूक्लिडियन स्पेस है: हम इसमें यूक्लिडियन ज्यामिति कर सकते हैं। $||X||_2$ $L^2(\Omega)$ $\mathcal{H}$ $V\subset \mathcal{H}$ $\mathcal{H}$ $V$

अंत में, हमें एक तथ्य की आवश्यकता है जो प्रायिकता रिक्त स्थान (सामान्य माप के स्थान के बजाय) के लिए विशेष है: क्योंकि एक प्रायिकता है, यह बाउंडेड है ( ), निरंतर कार्यों के लिए (किसी के लिए) निश्चित वास्तविक संख्या ) परिमित मानदंडों के साथ वर्ग पूर्णांक यादृच्छिक चर हैं। $\mathbb{P}$ $1$ $\omega\to a$ $a$

एक ज्यामितीय व्याख्या

में इसके समतुल्य वर्ग के प्रतिनिधि के रूप में सोचे गए किसी भी वर्ग-पूर्णांक यादृच्छिक चर पर विचार करें । इसका एक मतलब है जो (जैसा कि कोई भी चेक कर सकता है) केवल के समतुल्य वर्ग पर निर्भर करता है । Let को निरंतर रैंडम वेरिएबल की श्रेणी में रखें। $X$ $L^2(\Omega)$ $\mu=\mathbb{E}(X)$ $X$ $\mathbf{1}:\omega\to 1$

$X$ और एक यूक्लिडियन उप-प्रजाति उत्पन्न करते हैं जिसका आयाम अधिकतम । इस उपस्पेस में, के वर्ग लंबाई है और है निरंतर यादृच्छिक चर की वर्ग लंबाई । यह मौलिक है कि है सीधा करने के लिए । ( की एक परिभाषा यह है कि यह अद्वितीय संख्या है जिसके लिए यह मामला है।) संबंध लिखा जा सकता है $\mathbf{1}$ $V\subset L^2(\Omega)$ $2$ $||X||_2^2 = \mathbb{E}(X^2)$ $X$ $||a\,\mathbf{1}||_2^2 = a^2$ $\omega\to a$ $X-\mu\mathbf{1}$ $\mathbf{1}$ $\mu$ $(1)$

| | X - a 1 | |_{2}^{2} = | | X - μ 1 | |_{2}^{2} + | | (a - μ) 1 | |_{2}^{2} .

$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$

यह वास्तव में ठीक पाइथागोरस प्रमेय है, अनिवार्य रूप से 2500 साल पहले ज्ञात एक ही रूप में। ऑब्जेक्ट पैरों के साथ एक सही त्रिकोण का कर्ण है और ।

X - a 1 = (X - μ 1) - (a - μ) 1

$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$

X - μ 1

$X-\mu\mathbf{1}$

(a - μ) 1

$(a-\mu)\mathbf{1}$

यदि आप गणितीय उपमाओं को पसंद करते हैं, तो, आप एक यूक्लिडियन स्पेस में एक सही त्रिकोण के कर्ण के संदर्भ में व्यक्त की जाने वाली किसी भी चीज़ का उपयोग कर सकते हैं। कर्ण "त्रुटि" का प्रतिनिधित्व करेगा और पैर माध्य से पूर्वाग्रह और विचलन का प्रतिनिधित्व करेंगे।

— व्हीबर
स्रोत

अति उत्कृष्ट। अतः यह तर्क मेरे पिछले प्रश्न re लिए लगभग समान है । तो फिर उन लोगों के बीच एक समानता है, है ना? यह सहज रूप से लगता है कि पूर्वाग्रह मतलब के अनुरूप है। और सामान्यीकरण यह है कि मतलब 0 के संबंध में 1 पल है, लेकिन पूर्वाग्रह एक पैरामीटर के वास्तविक मूल्य के संबंध में है। क्या यह सही है?

V a r = E X^{2} - (E X)^{2}

$Var = EX^2 - (EX)^2$

— मिच

हाँ - प्रोविज़ो के साथ (जो कि ज्यामितीय व्याख्या द्वारा जोड़ा गया एक अंतर्दृष्टि है) कि इन चीजों को मापने का सही तरीका उनके वर्गों के संदर्भ में है।

— फुबेर

इसलिए, मैं एक संबंधित प्रश्न है। किसी भी मशीन सीखने के लिए, मेरे पास ये दो अवधारणाएं हैं "यदि हम नमूना आकार बढ़ाते हैं, तो एक असम्बद्ध निष्पक्ष अनुमानकर्ता का विचरण शून्य में जाएगा" और "यदि हम मॉडल जटिलता बढ़ाते हैं, इसलिए, हमारे पास कम पूर्वाग्रह और उच्च विचरण होगा" । इसलिए, क्या मैं कह सकता हूं कि अधिक कम्प्यूटेशनल शक्ति अधिक जटिलता की अनुमति देती है जो पूर्वाग्रह को कम करेगी, लेकिन विचरण को बढ़ाएगी। हालांकि स्पर्शोन्मुख, विचरण में यह वृद्धि ऑफसेट होगी।

— एआरएटी

@ मुस्तफा आप कुछ मजबूत धारणाएँ बनाते हैं। पहला यह है कि एक नमूना यादृच्छिक है और (कम से कम लगभग) स्वतंत्र - यह अक्सर एमएल अनुप्रयोगों में नहीं होता है। बढ़ते मॉडल जटिलता के बारे में निष्कर्ष आम तौर पर सच नहीं हैं, क्योंकि "बढ़ती जटिलता" से तात्पर्य है कि आप मॉडल बदल रहे हैं और यह प्रश्न में कॉल करता है कि आपके अनुमानक का अनुमान क्या है और साथ ही अनुमान लगाने वाला अपने अनुमान से संबंधित कैसे हो सकता है। । यह जरूरी नहीं है कि बढ़ते मॉडल की जटिलता का पूर्वाग्रह या विचरण पर कोई अनुमान लगाने योग्य प्रभाव हो।

— whuber

यह सटीकता और वैरिएशन के बारे में सोचने का एक तरीका है। मान लीजिए कि आप किसी लक्ष्य को देख रहे हैं और आप कई शॉट लगाते हैं, जो लक्ष्य के केंद्र के करीब इस तरह बिखरे हुए हैं कि कोई पूर्वाग्रह नहीं है। तब सटीकता केवल विचरण द्वारा निर्धारित की जाती है और जब विचरण छोटा होता है तो शूटर सटीक होता है।

अब हम एक ऐसे मामले पर विचार करते हैं जहां बड़ी सटीकता लेकिन बड़े पूर्वाग्रह हैं। इस मामले में केंद्र से दूर बिंदु के आसपास शॉट्स बिखरे हुए हैं। कुछ इस तरह से गड़बड़ कर रहा है, लेकिन इस उद्देश्य बिंदु के आसपास हर शॉट उस नए उद्देश्य बिंदु के करीब है। निशानेबाज़ पूर्वाग्रह के कारण सटीक लेकिन बहुत गलत है।

ऐसी अन्य परिस्थितियां हैं जहां छोटे पूर्वाग्रह और उच्च परिशुद्धता के कारण शॉट्स सटीक हैं। हम जो चाहते हैं वह कोई पूर्वाग्रह नहीं है और छोटे पूर्वाग्रह या छोटे पूर्वाग्रह हैं। कुछ सांख्यिकीय समस्याओं में आप दोनों नहीं हो सकते। तो MSE सटीकता का माप बन जाता है जिसे आप उपयोग करना चाहते हैं जो भिन्नता पूर्वाग्रह व्यापार बंद खेलता है और MSE को न्यूनतम करना लक्ष्य होना चाहिए।

— माइकल आर
स्रोत

उत्कृष्ट सहज वर्णन पुन: पूर्वाग्रह-विचरण और सटीकता-सटीक सादृश्य। मैं भी पाइथागोरस प्रमेय की तरह एक गणितीय व्याख्या के लिए देख रहा हूँ।

— मिच

मैंने उस पर ध्यान केंद्रित नहीं किया क्योंकि यह एक अन्य पोस्ट पर कवर किया गया था जिसमें ज्यामितीय व्याख्या पर चर्चा की गई थी। मुझे आपके लिए लिंक मिल जाएगा।

— माइकल आर। चेर्निक

@ मिच "सीवी साइट पर" बायस-वेरिएशन ट्रेडऑफ "की खोज में 134 हिट मिले। मुझे अभी तक पाइथागोरस प्रमेय एक नहीं मिला है, लेकिन यह वास्तव में अच्छा है और इस पोस्ट पर मैंने जिन लक्ष्यों पर चर्चा की है, उनकी एक तस्वीर है। "पूर्वाग्रह-परिवर्तन व्यापार की सहज व्याख्या"।

— माइकल आर। चर्निक

मुझे वह मिला जिसे मैं 5 जनवरी 2017 से देख रहा था "Var (X) = E [ ] - ( ) का अंतर्ज्ञान (ज्यामितीय या अन्य) - )

X^{2}

$X^2$

E [X])^{2}

$E[X])^2$

— Michael R. Chernick

@ मिच मुझे महसूस नहीं हुआ कि आपने वह प्रश्न पोस्ट किया है जिसकी मुझे तलाश थी।

— बजे माइकल आर। चर्निक