OLS BLUE है। लेकिन क्या होगा अगर मुझे निष्पक्षता और रैखिकता की परवाह नहीं है?

Question

गॉस-मार्कोव प्रमेय हमें बताता है कि ओएलएस अनुमानक रैखिक पुनरुत्पादक मॉडल के लिए सबसे अच्छा रैखिक निष्पक्ष अनुमानक है।

लेकिन मान लीजिए कि मैं रैखिकता और निष्पक्षता की परवाह नहीं करता। फिर क्या रेखीय प्रतिगमन मॉडल के लिए कुछ अन्य (संभव nonlinear / पक्षपाती) अनुमानक है जो गॉस-मार्कोव मान्यताओं या मान्यताओं के कुछ अन्य सामान्य सेट के तहत सबसे अधिक कुशल है?

निश्चित रूप से एक मानक परिणाम है: यदि गॉस-मार्कोव मान्यताओं के अलावा, हम यह भी मानते हैं कि त्रुटियों को सामान्य रूप से वितरित किया जाता है, तो ओएलएस ही सबसे अच्छा निष्पक्ष अनुमानक है। त्रुटियों के कुछ अन्य विशेष वितरण के लिए मैं इसी अधिकतम-संभावना अनुमानक की गणना कर सकता हूं।

लेकिन मैं सोच रहा था कि क्या कोई अनुमानक है जो परिस्थितियों के कुछ सामान्य सेटों में ओएलएस से बेहतर है?

Answer 1

निष्पक्ष आँकड़ों के लिए निष्पक्ष अनुमान विशिष्ट हैं क्योंकि वे हैं: 1) क्लासिक, 2) गणितीय रूप से विश्लेषण करना आसान है। द क्रैमर-राव लोअर बाउंड 2 के लिए मुख्य उपकरणों में से एक है)। निष्पक्ष अनुमानों से दूर संभव सुधार है। पूर्वाग्रह व्यापार बंद आंकड़ों में एक महत्वपूर्ण अवधारणा है यह समझने के लिए कि पूर्वाग्रहित अनुमान निष्पक्ष अनुमानों से बेहतर कैसे हो सकते हैं।

दुर्भाग्य से, पक्षपाती अनुमानक आमतौर पर विश्लेषण करने में कठिन होते हैं। प्रतिगमन में, पिछले 40 वर्षों में बहुत से शोध पक्षपातपूर्ण अनुमान के बारे में हैं। यह रिज रिग्रेशन (होरेल और केनार्ड, 1970) के साथ शुरू हुआ। देखें फ्रैंक और फ्राइडमैन (1996) और बर और फ्राई (2005) कुछ की समीक्षा करने और अंतर्दृष्टि के लिए।

पूर्वाग्रह-भिन्नता व्यापार उच्च आयामों में अधिक महत्वपूर्ण हो जाता है, जहां चर की संख्या बड़ी है। चार्ल्स स्टीन हर किसी को हैरान कर दिया जब वह साबित कर दिया सामान्य साधन समस्या में नमूना मतलब नहीं रह गया है स्वीकार्य है कि अगर (स्टीन, 1956 देखें)। जेम्स-स्टीन अनुमानक (जेम्स और स्टीन 1961) एक अनुमानक का पहला उदाहरण था जो नमूना माध्य पर हावी है। हालांकि, यह भी बेवजह है।$p \geq 3$

पूर्वाग्रह-विचरण समस्या का एक महत्वपूर्ण हिस्सा यह निर्धारित करता है कि पूर्वाग्रह को कैसे बंद किया जाना चाहिए। कोई एकल "सर्वश्रेष्ठ" अनुमानक नहीं है । पिछले एक दशक में स्पार्सिटी अनुसंधान का एक महत्वपूर्ण हिस्सा रहा है। हेस्टरबर्ग एट अल देखें । (2008) आंशिक समीक्षा के लिए।

ऊपर संदर्भित अधिकांश अनुमानक में गैर-रेखीय हैं । रिज पैरामीटर को निर्धारित करने के लिए डेटा का उपयोग करने के बाद भी रिज प्रतिगमन गैर-रैखिक है।$Y$

Comments

@chl सेकेंड। महान अवलोकन।

— mpiktas

मेरे पसंदीदा स्वीकार्य अनुमानकों में से एक: पैरामीटर स्थान का एक एकल मनमाने ढंग से चुना गया बिंदु जो एक असंभव मूल्य नहीं है :)

— संभावना 14

Answer 2

मुझे नहीं पता कि क्या आप बेयस अनुमान के साथ ठीक हैं? यदि हाँ, तो नुकसान फ़ंक्शन के आधार पर आप विभिन्न बेस अनुमान प्राप्त कर सकते हैं। ब्लैकवेल के एक प्रमेय में कहा गया है कि बेयस अनुमान कभी निष्पक्ष नहीं होते हैं। एक निर्णय सिद्धांत तर्क कहता है कि प्रत्येक स्वीकार्य नियम (यानी या प्रत्येक अन्य नियम जिसके खिलाफ इसकी तुलना की जाती है, उस पैरामीटर का एक मूल्य है जिसके लिए वर्तमान नियम का जोखिम उस नियम से कम (कड़ाई से) है जिसके खिलाफ यह है) तुलना की जा रही है)) एक सामान्य (सामान्यीकृत) बेयस नियम है।

जेम्स-स्टाइन एस्टिमेटर्स अनुमानकों के एक अन्य वर्ग हैं (जो कि बायसमियन विधियों द्वारा असममित रूप से प्राप्त किए जा सकते हैं) जो कई मामलों में ओएलएस से बेहतर हैं।

कई स्थितियों में ओएलएस बेवजह हो सकता है और जेम्स-स्टीन एस्टिमेटर इसका उदाहरण है। (जिसे स्टीन का विरोधाभास भी कहा जाता है)।

Comments

संकेत के लिए धन्यवाद। यह सब समझने के लिए पुस्तकालय को हिट करने की आवश्यकता होगी।

— ज्योतिर्मय भट्टाचार्य 14

@suncoolsu, यह स्वीकार्यता की सामान्य परिभाषा नहीं है। जो आपने दिया है वह अधिक मजबूत है। एक स्वीकार्य अनुमानक वह है जो समान रूप से हावी नहीं होता है , अर्थात, हर दूसरे नियम के लिए जिसके खिलाफ इसकी तुलना की जाती है, उस पैरामीटर का एक मूल्य है जिसके लिए वर्तमान नियम का जोखिम (कड़ाई से) उस नियम से कम है जिसके खिलाफ इसकी तुलना की जा रही है। इसके विपरीत, एक अनजाने अनुमानक वह है जो (कमजोर रूप से) पैरामीटर के हर मूल्य के लिए कुछ अन्य अनुमानक द्वारा हावी है और उसी अनुमानक द्वारा कम से कम एक मूल्य के लिए सख्ती से हावी है ।

— कार्डिनल

@कार्डिनल युप। तुम सही हो। मैं इसे ठीक कर दूंगा।

— सनकूलू

@cardinal। सादे अंग्रेजी में इसे सरल बनाने की तुलना में गणित का उपयोग करना बहुत आसान है। लेकिन वह मैं ही हूं। @ सुधारक के लिए धन्यवाद

— suncoolsu

@suncoolsu एसिम्प्टोटिक निष्पक्षता "निष्पक्ष" के सामान्य अर्थों से बहुत अलग है। किसी भी उचित अनुमान को निष्पक्ष रूप से निष्पक्ष होना चाहिए। एक और ध्यान दें: स्वीकार्य अनुमानकों के बारे में बयान दूसरे तरीके से नहीं होना चाहिए? यानी हर स्वीकार्य अनुमानक सामान्यीकृत बेयस है।

— vqv

Answer 3

न्यूनतम औसत वर्ग त्रुटि के साथ अनुमानक खोजने के उद्देश्य से पक्षपाती अनुमान पर काय और एल्डार द्वारा एक अच्छा समीक्षा पत्र है ।