Varian और Bias चुकता के लिए MSE अपघटन

Question

यह दिखाते हुए कि MSE को विचरण के साथ-साथ Bias के वर्ग में भी विघटित किया जा सकता है, विकिपीडिया में प्रमाण में एक कदम है, चित्र में हाइलाइट किया गया है। यह कैसे काम करता है? 3rd स्टेप से 4th स्टेप तक उत्पाद में आने वाली अपेक्षा को किस तरह धकेला गया है? यदि दो शब्द स्वतंत्र हैं, तो क्या अपेक्षा को दोनों शर्तों पर लागू नहीं किया जाना चाहिए? और अगर वे नहीं हैं, तो क्या यह कदम वैध है?

Answer 1

चाल यह है कि एक स्थिर है।$\mathbb{E}(\hat{\theta}) - \theta$

Comments

ओह मैं समझा। यहां केवल अज्ञात ही अनुमानक है। सही?

— स्टेटबिनर

हाँ। अपेक्षा लेने का अर्थ है कि अनुमान लगाने वाला जो कुछ भी अनुमान लगा रहा है, वह वही है जो 0. पर जाता है$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— एडमो

क्षमा करें, यह वाक्य मेरे लिए बहुत मायने नहीं रखता है। यदि एक अनुमानक जो कुछ भी यह अनुमान लगा रहा था, तो क्या यह निष्पक्ष नहीं होगा? क्या इसे = = कहकर समझाया जा सकता है = = = 0? ई ( θ ) - ई ( ई ( θ ) ) ई ( θ ) - ई ( θ$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 बीच में उत्पाद शब्द एक निरंतर बार अपेक्षित मूल्य के साथ कुछ है। भले ही थीटा-टोपी पक्षपाती है, यह अभी भी एक निरंतर समय है 0.

— एडमो

ई ( ग ) सी ई ( ( ई ( θ ) - θ ) 2 ) ≠ 0 ∫ एक्स पी ( एक्स ) ∫ ( ∫ एक्स पी ( एक्स ) ) पी ( एक्स ) = ( ∫ एक्स p ( x ) ) ∫ p ( x ) $\mathbb{E}(\hat{\theta}) - \theta$ एक चर है और स्थिर नहीं है। इसके अलावा, चाल कम तुच्छ और है के साथ एक निरंतर 0 डिफ़ॉल्ट के रूप में नहीं बन जाता है (उदाहरण के लिए )। वास्तविक चाल इस तथ्य में निहित है कि स्थिर है (और एक अभिन्न से बाहर निकाला जा सकता है) इसलिए$\mathbb{E}(c)$$c$$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$$\int x p(x)$$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

Answer 2

एडम का उत्तर उस चाल के बारे में सही है जो एक स्थिर है। हालांकि यह अंतिम परिणाम खोजने में मदद करता है, और विकिपीडिया लेख में विशिष्ट चरण के बारे में स्पष्ट रूप से सवाल नहीं बताता है (संपादित करें: जो मैं अब हाइलाइट और लाइन तीन से लाइन चार के चरण के बारे में अस्पष्ट था )।$E(\hat{\theta}) - \theta$

(ध्यान दें कि प्रश्न चर , जो निरंतर से भिन्न होता है एडम के जवाब में । मैंने अपनी टिप्पणी में यह गलत लिखा है। अधिक स्पष्टता के लिए शब्दों का विस्तार करना: चर अनुमानित , स्थिरांक इस अनुमान की उम्मीद कर रहे हैं और सही मूल्य ) ई [ θ ] - θ θ ई [ θ ]$\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$$\hat{\theta}$$\mathbb{E}\left[\hat{\theta}\right]$$\theta$

ट्रिक 1: विचार करें

चर$x=\hat{\theta}$

निरंतर$a=\mathbb{E}\left[ \hat{\theta} \right]$

और निरंतर$b = \theta$

तब संबंध आसानी से रूपांतरण नियमों को चर के क्षणों को व्यक्त करने का उपयोग कर लिखा जा सकता है के बारे में चर के क्षणों के मामले में के बारे में ।बी एक्स $x$$b$$x$$a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

ट्रिक 2: दूसरे क्षण के लिए उपर्युक्त सूत्र के सारांश में तीन शब्द हैं। हम उनमें से एक (केस ) को समाप्त कर सकते हैं क्योंकिई [ ( θ - ई [ θ ] ) ] = ई [ θ ] - ई [ ई [ θ ] ] = $i=1$$\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

यहाँ भी कुछ एक स्थिर होने के साथ तर्क कर सकते हैं। Namely यदि स्थिर है और , जो कि एक स्थिरांक है, तो आपको ।एक एक = ई ( θ ) ई ( ई ( θ ) ) = ई ( θ $\mathbb{E}(a)=a$$a$$a=\mathbb{E}(\theta)$$\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

अधिक सहज: हम के क्षण बना के बारे में , एक केंद्रीय पल के बराबर (और अजीब केंद्रीय क्षणों शून्य कर रहे हैं)। हमें थोड़ी तनातनी मिलती है। चर से मतलब निकालकर, , हम माध्य शून्य के साथ एक चर उत्पन्न करते हैं। और, zero माध्य शून्य वाला चर ’का मतलब शून्य है।एक θ - ई [ θ$x$$a$$\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

---

विकिपीडिया लेख क्रमशः तीसरी और चौथी पंक्ति में इन दो चाल का उपयोग करता है।

• तीसरी पंक्ति में नेस्टेड अपेक्षा

  $\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

  इसे (चाल 1) के बाहर निरंतर भाग को ले जाकर सरल बनाया गया है ।$(\mathbb{E}({\hat{\theta}})-\theta)$

• शब्द इस तथ्य का उपयोग करके हल किया जाता है कि चर का अर्थ शून्य (चाल 2) है।θ - ई ( θ$\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$$\hat{\theta} -\mathbb{E}(\hat{\theta})$

Answer 3

$E(\hat{\theta}) - \theta$ एक स्थिर नहीं है।

@ User1158559 की टिप्पणी वास्तव में सही है:

$$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$$

Comments

मैं नहीं दिखाता कि आप क्या दिखाना चाह रहे हैं। इसके अलावा पूर्वाग्रह शून्य नहीं हो सकता है लेकिन इसका मतलब यह नहीं है कि यह एक स्थिर नहीं है।

— माइकल आर। चेरिक

यह एक स्थिरांक नहीं है क्योंकि जहां एक दिया गया प्रशिक्षण डेटा है, जो एक यादृच्छिक चर भी है। इस प्रकार, इसकी उम्मीद स्थिर नहीं है। $\hat{\theta} = f(D)$$D$

— Little_monster

इसके अलावा, यह तथ्य यह है कि यह एक स्थिर नहीं है या नहीं बता सकता है कि चरण 4 चरण 3 से कैसे संभव है। दूसरी तरफ, @ user1158559 की टिप्पणी बताती है कि।

— Little_monster

@ मायकिल, सवाल को लेकर भ्रम की स्थिति पैदा हो गई है। हाइलाइट किए गए भाग में यह अभिव्यक्ति , लेकिन प्रश्न के पाठ में यह उल्लेख किया गया है कि इसके बजाय तीसरी पंक्ति से चौथी पंक्ति में परिवर्तन के बारे में, उम्मीदों के घोंसले को बदलना। $\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— सेक्टस एम्पिरिकस