ओएलएस एसिमोटोटपिक रूप से हेटेरोसिस्टैस्टिकिटी के तहत कुशल है

Question

मुझे पता है कि ओएलएस निष्पक्ष है, लेकिन रैखिक प्रतिगमन सेटिंग में विषमलैंगिकता के तहत कुशल नहीं है।

विकिपीडिया में

http://en.wikipedia.org/wiki/Minimum_mean_square_error

MMSE आकलनकर्ता विषम रूप से निष्पक्ष है और यह सामान्य वितरण में वितरण में परिवर्तित होता है: , जहाँ मैं (x) फ़िशर x की जानकारी है। इस प्रकार, MMSE अनुमानक asymptotically कुशल है।$\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE को asymptotically कुशल बनाने का दावा किया जाता है। मैं यहां थोड़ा भ्रमित हूं।

क्या इसका मतलब यह है कि OLS परिमित नमूने में कुशल नहीं है, लेकिन विषम विषमता के तहत कुशल है?

वर्तमान उत्तरों की आलोचना: अब तक प्रस्तावित उत्तर सीमित वितरण को संबोधित नहीं करते हैं।

अग्रिम में धन्यवाद

Comments

यह काफी लंबा लेख है। चूंकि, इसके अतिरिक्त, ये परिवर्तन के अधीन हैं, क्या आप भ्रम का कारण बनने वाले मार्ग का हवाला देते हैं?

— हेजसेब

फिशर जानकारी संभावना समारोह से ली गई है। तो यह अंतर्निहित है कि संभावना सही ढंग से निर्दिष्ट की गई थी। अर्थात आपका कथन मानता है, यदि कोई विषमलैंगिकता है, तो प्रतिगमन को इस तरह से भारित किया गया था कि हेटेरोसेडेसिटी सही ढंग से निर्दिष्ट की गई थी। En.wikipedia.org/wiki/Least_squares#Weighted_least_squares देखें । व्यवहार में, हम अक्सर विषमलैंगिकता के रूप को नहीं जानते हैं, इसलिए हम कभी-कभी भार योजनाओं को निर्दिष्ट करने से चूक को रोकने के बजाय अक्षमता को स्वीकार करने की अक्षमता को स्वीकार करते हैं।

— ज़ाचरी ब्लुमेनफेल्ड

@ZacharyBlumenfeld लेख में एक्स के वितरण पर कोई धारणा नहीं थी। फिशर जानकारी के साथ हम कैसे समाप्त हुए?

— कागदस ओजेंकेन

En.wikipedia.org/wiki/Fisher_information देखें यह आलेख और पर एक वितरण का तात्पर्य करता है जब यह परिभाषा अनुभाग में अपेक्षाएं लेता है। ध्यान दें कि वहाँ समलैंगिकता को कभी नहीं माना गया था। OLS के संदर्भ में, समरूपता ने मान लिया , पहचान मैट्रिक्स। Heteroscedacticity , किसी भी विकर्ण पॉजिटिव अर्ध-निश्चित के लिए अनुमति देता है। का उपयोग करने से परिणाम होगा कि का उपयोग करने से भिन्न फ़िशर जानकारी प्राप्त । $x$$e$$\mathbf{e} \sim N(0,\sigma I)$$I$$\mathbf{e} \sim N(0,D)$$D$$D$$\sigma I$

— ज़ाचरी ब्लुमेनफेल्ड

मैं इस तथ्य का प्रमाण कैसे देख सकता हूं कि "MMSE वितरण में सामान्य वितरण में परिवर्तित होता है?"

— हाजी

Answer 1

लेख ने कभी भी परिभाषा में समरूपता को नहीं माना। लेख के संदर्भ में कहें, homoskedasticity कह होगा कहाँ है पहचान मैट्रिक्स और एक स्केलर पॉजिटिव नंबर। Heteroscadasticity के लिए अनुमति देता है

$$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$$ $I$$n\times n$$\sigma$

$$E\{(\hat x-x)(\hat x-x)^T\}=D$$

कोई भी डायग्नोल सकारात्मक निश्चित। लेख सबसे सामान्य तरीके से सहसंयोजक मैट्रिक्स को परिभाषित करता है, जैसा कि कुछ निहित बहु-भिन्न वितरण का दूसरा क्षण केंद्रित है। हमें मेल के बहुभिन्नरूपी वितरण को जानना चाहिए, जो कि विषम और सुसंगत अनुमान प्राप्त करने के लिए है । यह एक संभावना फ़ंक्शन (जो पीछे के एक अनिवार्य घटक है) से आएगा। उदाहरण के लिए, मान लें कि (यानी । तब निहित संभावना फ़ंक्शन जहाँ बहुभिन्नरूपी सामान्य पीडीएफ है।$D$$e$$\hat x$$e \sim N(0,\Sigma)$$E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

$$\log[L]=\log[\phi(\hat x -x, \Sigma)]$$ $\phi$

फिशर सूचना मैट्रिक्स को रूप में लिखा जा सकता है। अधिक के लिए en.wikipedia.org/wiki/Fisher_information देखें। यह यहाँ से है कि हम । उपरोक्त एक द्विघात हानि फ़ंक्शन का उपयोग कर रहा है, लेकिन ग्रहण नहीं करता है homoscedasticity।

$$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$$ $$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$$

OLS के संदर्भ में, जहां हम वापसी में पर हम यह मान संभावना निहित है जिसे आसानी से में univariate normal pdf में लिखा जा सकता है । फ़िशर की जानकारी तब $y$$x$

$$E\{y|x\}=x'\beta$$ $$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$$ $$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$$ $\varphi$ $$I(\beta)=[\sigma (xx')^{-1}]^{-1}$$

यदि होमोसैकेडसिटी नहीं मिलती है, तो जैसा कि कहा गया है कि फिशर जानकारी निर्दिष्ट नहीं है (लेकिन सशर्त अपेक्षा फ़ंक्शन अभी भी सही है) इसलिए का अनुमान सुसंगत लेकिन अक्षम होगा। हम heteroskacticity के लिए खाते में संभावना को फिर से लिखने सकता है और प्रतिगमन है कुशल यानी हम लिख सकते हैं यह सामान्यीकृत कम से कम वर्गों के कुछ रूपों के बराबर है , जैसे कम से कम वर्ग। हालाँकि, यह होगा$\beta$

$$\log[L]=\log[\phi(y-x'\beta, D)]$$ फिशर सूचना मैट्रिक्स को बदलें। व्यवहार में हम अक्सर विषमलैंगिकता के रूप को नहीं जानते हैं, इसलिए हम कभी-कभी भार योजनाओं को निर्दिष्ट करके चूक को रोकने के बजाय अक्षमता को स्वीकार करना पसंद करते हैं। ऐसे मामलों में की asymptotic सहप्रसरण है नहीं ऊपर निर्दिष्ट के रूप में।$\beta$ $\frac{1}{n}I^{-1}(\beta)$

Comments

आपके द्वारा खर्च किए गए सभी समय के लिए धन्यवाद। हालाँकि मुझे लगता है कि विकि प्रविष्टि कुल बकवास है। एमएमएसई दक्षता नहीं देगा, और कहीं भी यह निर्दिष्ट नहीं किया जाता है कि नमूने उचित रूप से भारित हैं। इसके अलावा, भले ही हम मान लें कि नमूने भारित हैं, यह तब भी एक कुशल अनुमानक नहीं है जब तक कि वितरण गॉसियन नहीं है, जो निर्दिष्ट भी है।

— कागदस ओजेंकेन

@ कागदासओजेंक मैं सम्मानपूर्वक असहमत हूं। लेख एक सामान्य बायेसियन तरीके से प्रकाशित किया गया है जिसमें प्रतिगमन शामिल हो सकता है, लेकिन कई अन्य मॉडल (यह कलमन फ़िल्टर की ओर अधिक लक्षित होता है)। यह ज्ञात होने पर संभावना सबसे कुशल अनुमानक है, यह संभावना की एक मूल संपत्ति है। आपका क्या कहना रिग्रेशन मॉडल्स के सबसेट पर सख्ती से लागू होता है (सबसे व्यापक रूप से लागू मॉडल्स में से एक) जहां पहले क्रम की स्थिति को प्राप्त करते समय सामान्यता को माना जाता है।

— ज़ाचरी ब्लुमेनफेल्ड

आपने खुद कहा। दुर्भाग्य से लेख संभावना अनुमानक के बारे में नहीं है। यह मिनिमम मीन स्क्वायर एस्टीमेटर है, जो कुछ शर्तों से संतुष्ट होने पर कुशल है।

— कागदस ओजेंकेन

ठीक है, मैं असहमत होने के लिए सहमत हूं :) शायद एमएमएसई की परिभाषा के बीच एक संघर्ष है कि इसका उपयोग सबसे अधिक प्रतिगमन में कैसे किया जाता है और यह कैसे अधिक बायेसियन सेटिंग में यहां लागू होता है। शायद उन्हें इसके लिए एक नए नाम का आविष्कार करना चाहिए। फिर भी संभावनाएं (या शायद अन्य गैर-पैरामीट्रिक अनुमान) निहित हैं, जब हर एक वर्ग के अवशेषों पर स्वतंत्र अपेक्षाएं की जाती हैं। विशेष रूप से बायेसियन सेटिंग में (अन्यथा हम इसका अनुमान कैसे लगाएंगे?)। Googling के बाद मुझे विकिपीडिया पर एक समान परिणाम मिले। वैसे भी मैं मानता हूं कि शब्दावली का दुरुपयोग किया जा रहा है।

— ज़ाचरी ब्लुमेनफेल्ड

Answer 2

नहीं, OLS विषमलैंगिकता के तहत कुशल नहीं है। एक अनुमानक की दक्षता प्राप्त की जाती है यदि अनुमानक के पास अन्य संभावित अनुमानकों के बीच कम से कम विचरण होता है। ओएलएस में दक्षता के बारे में विवरण एक अनुमानक के वितरण को सीमित किए बिना बनाए जाते हैं।