कैसे समझें कि MLE of Variance एक गाऊसी वितरण में पक्षपाती है?

गॉसियन के विचरण को निर्धारित करने के लिए अधिकतम संभावना का उपयोग करने में पूर्वाग्रह कैसे उत्पन्न होता है, इसका PRML चित्रण

मैं PRML पढ़ रहा हूं और मुझे तस्वीर समझ में नहीं आ रही है। क्या आप तस्वीर को समझने के लिए कुछ संकेत दे सकते हैं और एक गौसियन वितरण में MLE के विचरण का पक्षपाती क्यों है?

सूत्र 1.55: सूत्र 1.56

μ_{म एल इ} = \frac{1}{एन} Σ_{n = 1}^{एन} {एक्स}_{n}

$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$

σ_{म एल इ}^{2} = \frac{1}{एन} Σ_{n = 1}^{एन} ({एक्स}_{n} - μ_{म एल इ})^{2}

$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$

machine-learning self-study maximum-likelihood

— ningyuwhut
स्रोत

कृपया स्व-अध्ययन टैग जोड़ें।

— स्टैट्सस्टूडेंट

प्रत्येक ग्राफ के लिए, केवल एक नीला डेटा बिंदु मुझे क्यों दिखाई दे रहा है? btw, जबकि मैं इस पोस्ट में दो सब्सक्राइबर्स के अतिप्रवाह को संपादित करने की कोशिश कर रहा था, सिस्टम को "कम से कम 6 अक्षर" ... शर्मनाक चाहिए।

— झांक्सिओनग

आप वास्तव में क्या समझना चाहते हैं, चित्र या MLE के विचरण का पूर्वाग्रह क्यों है? पूर्व बहुत भ्रामक है लेकिन मैं बाद की व्याख्या कर सकता हूं।

— 15

हाँ, मैं नए संस्करण में पाया गया कि प्रत्येक ग्राफ में दो नीले डेटा हैं, मेरा पीडीएफ पुराना है

— ningyuwhut

@TrynnaDoStat मेरे प्रश्न के लिए खेद स्पष्ट नहीं है। मैं जानना चाहता हूं कि विचरण का MLE अनुमान पक्षपाती क्यों है। और यह इस ग्राफ में कैसे व्यक्त किया गया है

— ningyuwhut

सहज बोध

पूर्वाग्रह (सभी एक तकनीकी शब्द पर नहीं) तथ्य यह है कि "से आ रही है" के लिए पक्षपाती है । प्राकृतिक सवाल यह है कि, "ठीक है, क्यों के लिए अंतर्ज्ञान क्या के लिए पक्षपाती है "? अंतर्ज्ञान यह है कि एक गैर-स्क्वैयर नमूने का मतलब है, कभी-कभी हम अति-आकलन करके और कभी-कभी अंडर-आकलन करके सही मूल्य से चूक जाते हैं । लेकिन, स्क्वेरिंग के बिना, ओवर-एस्टीमेट और अंडर-एस्टीमेट की प्रवृत्ति एक दूसरे को रद्द कर देगी। हालाँकि, जब हम का अनुमान लगाने की प्रवृत्ति को कम करते हैं ( का सही मूल्य याद करते हैं) $E[\bar{x}^2]$ $\mu^2$ $E[\bar{x}^2]$ $\mu^2$ $\mu$ $\bar{x}$ $\mu$ एक नकारात्मक संख्या से) भी चुकता हो जाता है और इस तरह सकारात्मक हो जाता है। इस प्रकार, यह अब रद्द नहीं करता है और अधिक अनुमान लगाने की थोड़ी सी प्रवृत्ति है।

अगर लिए पक्षपाती लिए पक्षपाती है, तो अभी भी अस्पष्ट है, जेन्सेन की असमानता (यहां अच्छी सहज व्याख्या ) के पीछे अंतर्ज्ञान को समझने की कोशिश करें और इसे । $x^2$ $\mu^2$ $E[x^2]$

आइए यह साबित करें कि आईआईडी नमूने के लिए MLE का विचरण पक्षपाती है। फिर हम अपने अंतर्ज्ञान को विश्लेषणात्मक रूप से सत्यापित करेंगे।

सबूत

चलो । $\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

हम दिखाना चाहते हैं । $E[\hat{\sigma}^2] \neq \sigma^2$

इ [{\hat{σ}}^{2}] = इ [\frac{1}{एन} Σ_{n = 1}^{एन} ({एक्स}_{n} - \bar{एक्स})^{2}] = \frac{1}{एन} इ [Σ_{n = 1}^{एन} ({एक्स}_{n}^{2} - 2 {एक्स}_{n} \bar{एक्स} + {\bar{एक्स}}^{2})] = \frac{1}{एन} इ [Σ_{n = 1}^{एन} {एक्स}_{n}^{2} - Σ_{n = 1}^{एन} 2 {एक्स}_{n} \bar{एक्स} + Σ_{n = 1}^{एन} {\bar{एक्स}}^{2}]

$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$

तथ्य यह है का उपयोग करना है कि और , $\sum_{n = 1}^N x_n = N\bar{x}$ $\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

\frac{1}{एन} इ [Σ_{n = 1}^{एन} {एक्स}_{n}^{2} - Σ_{n = 1}^{एन} 2 {एक्स}_{n} \bar{एक्स} + Σ_{n = 1}^{एन} {\bar{एक्स}}^{2}] = \frac{1}{एन} इ [Σ_{n = 1}^{एन} {एक्स}_{n}^{2} - 2 एन {\bar{एक्स}}^{2} + एन {\bar{एक्स}}^{2}] = \frac{1}{एन} इ [Σ_{n = 1}^{एन} {एक्स}_{n}^{2} - एन {\bar{एक्स}}^{2}] = \frac{1}{एन} इ [Σ_{n = 1}^{एन} {एक्स}_{n}^{2}] - इ [{\bar{एक्स}}^{2}] = \frac{1}{एन} Σ_{n = 1}^{एन} इ [{एक्स}_{n}^{2}] - इ [{\bar{एक्स}}^{2}] = इ [{एक्स}_{n}^{2}] - इ [{\bar{एक्स}}^{2}]

$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$

समान वितरण से आने के कारण के पार होने के कारण अंतिम चरण के बाद से । $E[x_n^2]$ $n$

अब, यह कहते हैं विचरण की परिभाषा याद । यहाँ से, हम निम्नलिखित प्राप्त करते हैं $\sigma^2_x = E[x^2] - E[x]^2$

इ [{एक्स}_{n}^{2}] - इ [{\bar{एक्स}}^{2}] = σ_{एक्स}^{2} + इ [{एक्स}_{n}]^{2} - σ_{\bar{एक्स}}^{2} - इ [{एक्स}_{n}]^{2} = σ_{एक्स}^{2} - σ_{\bar{एक्स}}^{2} = σ_{एक्स}^{2} - वी ए आर (\bar{एक्स}) = σ_{एक्स}^{2} - वी ए आर (\frac{1}{एन} Σ_{n = 1}^{एन} {एक्स}_{n}) = σ_{एक्स}^{2} - (\frac{1}{एन})^{2} वी ए आर (Σ_{n = 1}^{एन} {एक्स}_{n})

$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$

ध्यान दें कि हमने उचित रूप से स्थिर चुकता किया है जब इसेनिकालते हैं। उस पर विशेष ध्यान दें! $\frac{1}{N}$ $Var()$

σ_{एक्स}^{2} - (\frac{1}{एन})^{2} वी ए आर (Σ_{n = 1}^{एन} {एक्स}_{n}) = σ_{एक्स}^{2} - (\frac{1}{एन})^{2} एन σ_{एक्स}^{2} = σ_{एक्स}^{2} - \frac{1}{एन} σ_{एक्स}^{2} = \frac{एन - 1}{एन} σ_{एक्स}^{2}

$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$

है जो, ज़ाहिर है, नहीं के बराबर । $\sigma_x^2$

विश्लेषणात्मक रूप से हमारे अंतर्ज्ञान को सत्यापित करें

हम कुछ अनुमान लगाकर अंतर्ज्ञान को सत्यापित कर सकते हैं कि हम के मूल्य को जानते हैं और इसे उपरोक्त प्रमाण में जोड़ते हैं। चूंकि अब हम जानते हैं , हम अब अनुमान लगाने के लिए की जरूरत है और इस तरह हम कभी इसके साथ अधिक अनुमान । चलो देखते हैं कि यह "हटा देगा" में पूर्वाग्रह । $\mu$ $\mu$ $\mu^2$ $E[\bar{x}^2]$ $\hat{\sigma}^2$

चलो । $\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

$E[x_n^2] - E[\bar{x}^2]$ $\bar{x}$ $\mu$

इ [{एक्स}_{n}^{2}] - इ [μ^{2}] = इ [{एक्स}_{n}^{2}] - μ^{2} = σ_{एक्स}^{2} + इ [{एक्स}_{n}]^{2} - μ^{2} = σ_{एक्स}^{2}

$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$

जो निष्पक्ष है!

— TrynnaDoStat
स्रोत

X

$X$

आपके व्याख्या के लिये धन्यवाद। मुझे इसे समझने के लिए कुछ समय चाहिए। इसके अलावा, मुझे समीकरणों में कुछ त्रुटि मिली। क्या आप इसे सत्यापित करते हैं? धन्यवाद!

— ningyuwhut

X

$X$