पूर्वाग्रह-विघटन अपघटन: अपेक्षित चुकता पूर्वानुमान त्रुटि के लिए पद कम इरेड्यूबल त्रुटि

Question

हस्ती एट अल। "सांख्यिकीय शिक्षा के तत्व" (2009) एक डेटा जनरेट करने की प्रक्रिया पर विचार करते हैं साथ और ।

$$Y = f(X) + \varepsilon$$ $\mathbb{E}(\varepsilon)=0$$\text{Var}(\varepsilon)=\sigma^2_{\varepsilon}$

वे बिंदु (पृष्ठ 223, सूत्र 7.9) पर अपेक्षित चुकता पूर्वानुमान त्रुटि के निम्नलिखित पूर्वाग्रह-विघटन अपघटन प्रस्तुत करते हैं : मेरे में। खुद का काम मैं निर्दिष्ट नहीं करता, लेकिन इसके बजाय (यदि यह प्रासंगिक है) तो एक मनमाना पूर्वानुमान ले। प्रश्न: मैं लिए एक शब्द ढूंढ रहा हूं। या, अधिक सटीक रूप से, $x_0$

$$\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + \text{Var}(\hat f(x_0)) \\ &= \text{Irreducible error} + \text{Bias}^2 + \text{Variance} .\\ \end{aligned}$$ $\hat f(\cdot)$$\hat y$
$$\text{Bias}^2 + \text{Variance}$$ $$\text{Err}(x_0) - \text{Irreducible error}.$$

Comments

यहाँ सवाल क्या है?

— माइकल आर। चेरिक

@sntx, विचार के लिए धन्यवाद। लेकिन यह किसी भी तरह सही नहीं लगता है। हो सकता है कि मॉडलिंग त्रुटि (यानी मॉडल के गलत निर्धारण और मॉडल के गलत अनुमान के कारण त्रुटि), लेकिन तब कोई मतलब नहीं है अगर कोई पूर्वानुमान पैदा करने वाला मॉडल (जैसे विशेषज्ञ पूर्वानुमान) नहीं है।

— रिचर्ड हार्डी

@ डेल्टिव, यह बल्कि अच्छा है। हालाँकि, मुझे लगता है कि यह शब्द चार्ज किया गया है; ऐसा लगता है जैसे कि पूर्वानुमान खराब है और हम बेहतर कर सकते हैं। लेकिन मान लीजिए कि हमने दिए गए डेटा के लिए अपना सर्वश्रेष्ठ दिया। इसलिए हमने सही मॉडल (कोई "मॉडल पूर्वाग्रह") नहीं चुना है, लेकिन गुणांक का पूरी तरह से अनुमान लगाने के लिए नमूना बहुत छोटा है। अनुमान का विचरण ("मॉडल विचरण") इस प्रकार दिए गए नमूने के आकार के लिए वास्तव में अप्रासंगिक है - जबकि "reducible त्रुटि" शब्द यह बताता है कि ऐसा नहीं है। ऐसा नहीं है कि मुझे यकीन है कि हम एक बेहतर शब्द के साथ आ सकते हैं, मैं अभी भी इसके लिए प्रयास करना चाहूंगा।

— रिचर्ड हार्डी

@ डेल्टिव, ओके, मुझे अब अंतर्ज्ञान मिला है कि यह किस अर्थ में अतिरेकपूर्ण है। फिर भी शब्द भ्रामक हो सकता है यदि आगे स्पष्टीकरण के बिना उपयोग किया जाता है (जैसा कि आपको मुझे समझाना होगा)। आपका बाद का सुझाव सटीक है, जो वास्तव में अच्छा है, लेकिन जैसा कि आपने कहा, यह काफी जटिल है।

— रिचर्ड हार्डी

@ डेल्टाइवा, का इरादा इस तरह की आवाज़ करने का नहीं था। यह व्यक्तिगत कुछ भी नहीं है; मेरी (उम्मीद के मुताबिक) तर्क टिप्पणियों में ऊपर हैं। लेकिन मेरे साथ चर्चा होने के लिए धन्यवाद, यह मदद करता है।

— रिचर्ड हार्डी

Answer 1

मैं reducible त्रुटि प्रस्तावित करता हूं । यह गैरेथ, विटेन, हेस्टी और टिब्शिरानी के पैरा 2.1.1 में अपनाई गई शब्दावली भी है , सांख्यिकीय शिक्षा का एक परिचय , एक पुस्तक जो मूल रूप से ईएसएल + कुछ बहुत ही शांत आर कोड प्रयोगशालाओं का एक सरलीकरण है (इस तथ्य के अलावा कि वे उपयोग करते हैं) attach, लेकिन, हे, कोई भी सही नहीं है)। मैं इस शब्दावली के पक्ष और विपक्ष के कारणों की सूची नीचे दूंगा।

---

सबसे पहले, हमें याद रखना चाहिए कि हम न केवल मान लेते हैं $\epsilon$मतलब 0 के लिए, लेकिन यह भी होना करने के लिए स्वतंत्र के$X$(पैरा 2.6.1 देखें, ईएसएल का सूत्र 2.29, 2 ^एनडी संस्करण, 12 ^वें मुद्रण)। फिर निश्चित रूप से$\epsilon$ से अनुमान नहीं लगाया जा सकता है $X$कोई बात नहीं, जो परिकल्पना वर्ग $\mathcal{H}$(मॉडल का परिवार) हम चुनते हैं, और हमारी परिकल्पना (हमारे मॉडल का अनुमान) सीखने के लिए हम कितने बड़े नमूने का उपयोग करते हैं। यह क्यों बताते हैं$\sigma^2_{\epsilon}$ को इरेड्यूसबल एरर कहा जाता है ।

सादृश्य से, त्रुटि के शेष भाग को परिभाषित करना स्वाभाविक लगता है, $\text{Err}(x_0)-\sigma^2_{\epsilon}$, reducible त्रुटि । अब, यह शब्दावली कुछ भ्रामक लग सकती है: तथ्य के रूप में, डेटा बनाने की प्रक्रिया के लिए हमने जो धारणा बनाई है, उसके तहत हम यह साबित कर सकते हैं कि

$$f(x)=\mathbb{E}[Y\vert X=x]$$

इस प्रकार, रिड्यूसबल त्रुटि को शून्य पर और यदि केवल तभी कम किया जा सकता है $\mathbb{E}[Y\vert X=x]\in \mathcal{H}$(निश्चित रूप से हमारे पास एक सुसंगत अनुमानक है)। अगर$\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$, हम एक अनन्त नमूना आकार की सीमा में भी 0 पर रिड्यूसबल त्रुटि ड्राइव नहीं कर सकते। हालाँकि, यह अभी भी हमारी त्रुटि का एकमात्र हिस्सा है जिसे कम किया जा सकता है, यदि समाप्त नहीं किया जाता है, तो नमूना आकार को बदलकर, हमारे अनुमानक में नियमितीकरण (संकोचन) का परिचय देते हुए, दूसरे शब्दों में, दूसरे को चुनकर।$\hat{f}(x)$ मॉडल के हमारे परिवार में।

मूल रूप से, reducible का मतलब शून्यबल ( yuck !) के अर्थ में नहीं है, लेकिन त्रुटि के उस हिस्से के अर्थ में, जिसे कम किया जा सकता है, भले ही जरूरी रूप से मनमाने ढंग से छोटा न किया गया हो। इसके अलावा, ध्यान दें कि सिद्धांत रूप में इस त्रुटि को बड़ा करके 0 तक घटाया जा सकता है$\mathcal{H}$ जब तक यह शामिल है $\mathbb{E}[Y\vert X=x]$। इसके विपरीत,$\sigma^2_{\epsilon}$ कम नहीं किया जा सकता है, चाहे कितना भी बड़ा हो $\mathcal{H}$ क्योंकि $\epsilon\perp X$।

Comments

यदि शोर इरेड्यूबल त्रुटि है, तो यह इरेड्यूसबल नहीं है। आपको इसे किसी तरह प्रेरित करने की जरूरत है, मैं अपने लिए ऐसा नहीं कर सकता।

— कार्ल

2.1.1 में उदाहरण "रक्त में कुछ दवा की परख है।" पहला उदाहरण जो मैं नीचे देता हूं वह ठीक यही है। उस परख में, माप की तथाकथित अप्रासंगिक त्रुटि कुछ भी नहीं है। यह गणना के शोर से बना है, जिसे आमतौर पर 10000 या अधिक घटनाओं की गणना करके कम किया जाता है, पाइपिंग की त्रुटि, जो लगभग घातीय रूप से वितरित की जाती है, और अन्य तकनीकी त्रुटियां हैं। इन "अकाट्य" त्रुटियों को और कम करने के लिए, मैं प्रत्येक समय नमूने के लिए तीन गिनती ट्यूबों के माध्यिका का उपयोग करने की सलाह देता हूं। शब्द इरेड्यूसबल खराब शब्दजाल है, फिर से प्रयास करें।

— कार्ल

@ दिल्ली, जवाब के लिए धन्यवाद। एक लाइनर "reducible त्रुटि" बहुत आश्वस्त नहीं हो सकता है, लेकिन संदर्भ और चर्चा को देखते हुए यह बहुत अच्छा लग रहा है!

— रिचर्ड हार्डी

मुझे नहीं लगता कि शब्दजाल विकसित करने का उद्देश्य लोगों को भ्रमित करना है। यदि आप त्रुटि से स्वतंत्र कहना चाहते हैं$n$, बनाम त्रुटि जो कार्य है $n$, कहें आपका क्या मतलब है।

— कार्ल

@ डेल्टवा मेरा मानना ​​है कि रिड्यूसबिलिटी एक संदिग्ध धारणा है, नीचे देखें।

— कार्ल

Answer 2

एक ऐसी प्रणाली जिसके लिए सभी भौतिक घटनाओं को ठीक से मॉडल किया गया है, बाईं ओर शोर होगा। हालांकि, आमतौर पर एक मॉडल की त्रुटि में केवल शोर की तुलना में अधिक संरचना होती है। उदाहरण के लिए, मॉडलिंग पूर्वाग्रह और शोर अकेले वक्रतापूर्ण अवशिष्ट, अर्थात, अनमॉडल्ड डेटा संरचना की व्याख्या नहीं करते हैं। अस्पष्टीकृत अंश की समग्रता है$1-R^2$, जो भौतिकी के गलत विवरण के साथ-साथ पूर्वाग्रह और ज्ञात संरचना के शोर से युक्त हो सकता है। यदि पूर्वाग्रह से हमारा मतलब केवल अनुमान लगाने में त्रुटि है$y$, "अकाट्य त्रुटि" से हमारा मतलब है शोर, और विचरण से हमारा मतलब है कि मॉडल की प्रणालीगत शारीरिक त्रुटि, फिर पूर्वाग्रह (चुकता) और प्रणालीगत शारीरिक त्रुटि का योग कोई विशेष चीज नहीं है, यह केवल वह त्रुटि है जो शोर नहीं है । शब्द (चुकता) मिसग्रिगेशन का उपयोग इसके लिए एक विशिष्ट संदर्भ में किया जा सकता है, नीचे देखें। यदि आप त्रुटि से स्वतंत्र कहना चाहते हैं$n$, बनाम त्रुटि जो एक फ़ंक्शन है $n$, कहते हैं कि। IMHO, न तो त्रुटि irreducible है, जिससे कि irreducibility संपत्ति इस हद तक गुमराह करती है कि वह अधिक से अधिक भ्रमित करती है, जिससे वह रोशन होती है।

मुझे "रिड्यूसबिलिटी" शब्द क्यों पसंद नहीं है? यह अतिरेक के स्वयंसिद्धता के रूप में एक स्व-संदर्भित तात्कालिकता की बू आती है । मैं रसेल १ ९ १ ९ से सहमत हूं कि "मुझे यह मानने का कोई कारण नहीं दिखता है कि अतिसूक्ष्मवाद का स्वयंसिद्ध तार्किक रूप से आवश्यक है, जो कि यह कहने का मतलब होगा कि यह सभी संभव दुनिया में सच है। इस स्वयंसिद्ध का प्रवेश एक प्रणाली में प्रवेश है। तर्क इसलिए दोष है ... एक संदिग्ध धारणा है। "

नीचे अधूरा भौतिक मॉडलिंग के कारण संरचित अवशिष्टों का एक उदाहरण है। यह एक वृहद गामा वितरण के सामान्य कम से कम वर्ग फिटिंग से अवशेषों का प्रतिनिधित्व करता है, यानी, एक गामा परिवर्तन (जीवी), एक गुर्दे ग्लोमेरुलर फ़िल्टर्ड रेडियोफार्मास्यूटिकल [ 1 ] के रेडियोधर्मिता के रक्त प्लाज्मा नमूनों के लिए । ध्यान दें कि अधिक डेटा को छोड़ दिया गया है ($n=36$ प्रत्येक समय-नमूने के लिए), बेहतर मॉडल बन जाता है ताकि अधिक नमूना रेंज के साथ reducibility फिर से दिखे।

यह उल्लेखनीय है, कि जैसे ही पांच मिनट में पहला नमूना गिरता है, भौतिकी में सुधार होता है क्योंकि यह क्रमिक रूप से होता है क्योंकि कोई 60 मिनट तक प्रारंभिक नमूने छोड़ता रहता है। इससे पता चलता है कि जीवी अंततः दवा के प्लाज्मा एकाग्रता के लिए एक अच्छा मॉडल बनाता है, लेकिन शुरुआती समय में कुछ और चल रहा है।

वास्तव में, यदि कोई दो गामा वितरण को नियंत्रित करता है, एक प्रारंभिक समय के लिए, एक दवा का वितरण, और एक अंग निकासी के लिए, इस प्रकार की त्रुटि, शारीरिक मॉडलिंग त्रुटि, से कम की जा सकती है $1\%$[ २ ]। अगला उस दृढ़ संकल्प का एक चित्रण है।

उस बाद के उदाहरण से, समय के ग्राफ के हिसाब से एक वर्गमूल के लिए, $y$-एक्सिस विचलन त्रुटि के अर्थ में मानकीकृत विचलन हैं। ऐसा ग्राफ एक छवि है जिसके लिए फिट की त्रुटियां विरूपण या वारपिंग से छवि की गलत व्याख्या हैं। उस संदर्भ में, और केवल उस संदर्भ में, misregistration पूर्वाग्रह प्लस मॉडलिंग त्रुटि है, और कुल त्रुटि misregistration प्लस शोर त्रुटि है।

Comments

वास्तव में, यह उपरोक्त अपघटन के बारे में है। लेकिन आपका उत्तर बेहतर टिप्पणी के रूप में काम करेगा क्योंकि यह वास्तविक प्रश्न को संबोधित नहीं करता है। या करता है?

— रिचर्ड हार्डी

धन्यवाद, लेकिन जवाब सिर्फ विषय से दूर हो गया। मेरे पास वास्तविक प्रश्न (मैं कैसे कॉल करूं) के बीच कोई संबंध खोजने में कठिन समय है$\text{Bias}^2+\text{Variance}$) और यह सब ...

— रिचर्ड हार्डी

एक बार फिर, आप एक अलग सवाल का जवाब दे रहे हैं। एक गलत प्रश्न का सही उत्तर दुर्भाग्य से एक गलत उत्तर है (स्वयं के लिए एक नोट: संयोग से, मैं कल अपने स्नातक छात्रों को यही समझा रहा था)। मैं यह नहीं पूछ रहा हूं कि अभिव्यक्ति कितनी सार्थक है (यह उस व्यक्ति के लिए सार्थक है जिसने ईएसएल पाठ्यपुस्तक पढ़ी है और / या लागू मशीन सीखने में काम किया है), मैं इसके लिए एक उचित शब्द पूछ रहा हूं। सवाल सकारात्मक है, आदर्शवादी नहीं। और यह बहुत सरल और बहुत ठोस है।

— रिचर्ड हार्डी

@RichardHardy भौतिकी के बिना, मेरे लिए सवाल करना मुश्किल था। मेरे जवाब को बदल दिया, ऊपर गलत विवरण देखें।

— कार्ल

आप इस प्रक्रिया का अनुमान लगाने के लिए कर सकते हैं, हाँ, और यह reducible त्रुटि भाग है। लेकिन जब आप एक ठोस घटना का पूर्वानुमान करते हैं जिसमें सिक्का फ्लिप शामिल होता है, तो ऐसा कोई तरीका नहीं है जिससे आप सिक्का फ्लिप के परिणाम को गलत तरीके से समझने से जुड़ी त्रुटि को कम कर सकते हैं। यह इरेड्यूबल त्रुटि के बारे में है। दिलचस्प है: एक विशुद्ध रूप से निर्धारक दुनिया में परिभाषा के अनुसार कोई भी अप्रासंगिक त्रुटि नहीं होगी, इसलिए यदि दुनिया के बारे में आपका दृष्टिकोण पूरी तरह से निर्धारक है, तो मैं समझ सकता हूं कि आपका क्या मतलब है। हालांकि, दुनिया "द स्टैटिस्टिकल ऑफ स्टैटिस्टिकल लर्निंग" और सामान्य रूप से आंकड़ों में स्थिर है।

— रिचर्ड हार्डी