अर्ध अधिकतम संभावना अनुमान (QMLE) के पीछे विचार और अंतर्ज्ञान

17

प्रश्न (प्रश्न): अर्ध अधिकतम संभावना अनुमान (QMLE; जिसे छद्म अधिकतम संभावना अनुमान, PMLE भी कहा जाता है) के पीछे विचार और अंतर्ज्ञान क्या है? जब वास्तविक त्रुटि वितरण मान त्रुटि वितरण से मेल नहीं खाता है, तो अनुमानक कार्य क्या करता है?

विकिपीडिया साइट QMLE के लिए ठीक (संक्षिप्त, सहज, बात करने के लिए) है, लेकिन मैं कुछ और अंतर्ज्ञान और विस्तार, शायद यह भी एक उदाहरण इस्तेमाल कर सकते हैं। अन्य संदर्भ सबसे स्वागत योग्य हैं। (मुझे याद है कि QMLE पर सामग्री की तलाश में बहुत कुछ अर्थमिति की पाठ्यपुस्तकें, और मेरे आश्चर्य की बात है, QMLE केवल उनमें से एक या दो में कवर किया गया था, जैसे वोल्ड्रिज "क्रॉस सेक्शन और पैनल डेटा का अर्थमितीय विश्लेषण" (2010, अध्याय 13) धारा 11, पीपी। 502-517)

— रिचर्ड हार्डी
स्रोत

2

क्या आपने इस पर श्वेत पत्र पढ़ा है?

— हेजसेब

2

@ हेजेब, शायद नहीं, कम से कम मुझे यह बिल्कुल याद नहीं है। यह है इस एक?

— रिचर्ड हार्डी

1

हाँ, यह एक है। बेशक, वह ह्यूबर (1967) पर भारी पड़ता है , और इसे पूरी तरह से पहचानता है। लेकिन अर्थमिति में निम्नलिखित मुश्किल से होता है। और ह्यूबर के कागज, सभी उचित सम्मान के साथ तकनीकी स्तर पर, बमुश्किल पठनीय है; हैल व्हाइट ने निश्चित रूप से इस मुद्दे के आसान पाचन में योगदान दिया।

— StasK

7

"जब वास्तविक त्रुटि वितरण मान्य त्रुटि वितरण से मेल नहीं खाता है, तो अनुमानक कार्य क्या करता है?"

सिद्धांत रूप में QMPLE "काम" नहीं करता है , "अच्छा" अनुमानक होने के अर्थ में। क्यूएमएलई के आस-पास विकसित सिद्धांत उपयोगी है क्योंकि इससे प्रक्षेपास्त्र परीक्षण हुआ है।

QMLE निश्चित रूप से पैरामीटर वेक्टर का लगातार अनुमान लगाता है जो सही वितरण और निर्दिष्ट निर्दिष्ट के बीच कुल्बैक-लीबेर डाइवर्जेंस को कम करता है। यह अच्छा लगता है, लेकिन इस दूरी को कम करने का मतलब यह नहीं है कि कम से कम दूरी भारी नहीं होगी।

फिर भी, हम पढ़ते हैं कि कई परिस्थितियां हैं कि क्यूएमएलई सच्चे पैरामीटर वेक्टर के लिए एक सुसंगत अनुमानक है । इसे केस-बाय-केस का आकलन किया जाना है, लेकिन मुझे एक सामान्य स्थिति देनी चाहिए, जिससे पता चलता है कि QMLE में कुछ भी अंतर्निहित नहीं है जो इसे सच्चे वेक्टर के लिए सुसंगत बनाता है ...

... बल्कि यह तथ्य है कि यह एक अन्य अनुमानक के साथ मेल खाता है जो हमेशा सुसंगत है (एर्गोडिक-स्थिर नमूना धारणा को बनाए रखते हुए): पुराने जमाने का, मोमेंट्स का अनुमान लगाने वाला।

दूसरे शब्दों में, जब वितरण के बारे में संदेह है, तो विचार करने के लिए एक रणनीति "हमेशा एक वितरण निर्दिष्ट करें जिसके लिए ब्याज के मापदंडों के लिए अधिकतम संभावना आकलन क्षण की विधि के साथ मेल खाता है" : इस तरह से कोई फर्क नहीं पड़ता कि निशान कैसे बंद हो गया आपकी वितरण संबंधी धारणा है, अनुमानक कम से कम सुसंगत होगा।

आप इस रणनीति को हास्यास्पद चरम सीमा तक ले जा सकते हैं: मान लें कि आपके पास यादृच्छिक चर से एक बहुत बड़ा आईड नमूना है, जहां सभी मान सकारात्मक हैं। पर जाएं और मान लें कि यादृच्छिक चर सामान्य रूप से वितरित किया गया है और माध्य और विचरण के लिए अधिकतम संभावना को लागू करता है: आपका QMLE सच्चे मूल्यों के अनुरूप होगा।

बेशक यह सवाल है, क्यों MLE लागू करने का नाटक कर रहा है क्योंकि हम जो कर रहे हैं वह अनिवार्य रूप से निर्भर करता है और मेथड ऑफ मोमेंट्स की ताकत के पीछे छिप रहा है (जो कि एसिम्प्टोटिक सामान्यता की गारंटी भी देता है)?

अन्य अधिक परिष्कृत मामलों में, क्यूएमएलई को ब्याज के मापदंडों के अनुरूप दिखाया जा सकता है यदि हम कह सकते हैं कि हमने सशर्त माध्य फ़ंक्शन को सही ढंग से निर्दिष्ट किया है, लेकिन वितरण नहीं है (उदाहरण के लिए पूलेड पॉइसन क्यूएमएल के लिए मामला है - देखें वोल्ड्रिज) ।

— एलेकोस पापाडोपोलोस
स्रोत

यह दिलचस्प है। क्या आप इस तरह के सिद्धांत के लिए कुछ संदर्भ दे सकते हैं?

— kjetil b halvorsen

1

@kjetilbhalvorsen यह कुछ विकसित सैद्धांतिक ढांचा नहीं है, क्योंकि यह केवल एक स्पष्ट तरीके से कुछ बहुत ही बुनियादी परिणामों में संश्लेषित करता है। मेरे सिर में सिंथेसिस दिखाई दिया, जबकि मुझे मिसकैरेज के परिणामों के बारे में सताया जा रहा था। और मेरा मानना है कि शोध पत्रों में जोर-शोर से यह कहने के लिए एक "राजनीति" पक्ष भी है: हम किंग एमएलई, अब, क्या हम नहीं चाहेंगे?

— एलेकोस पापाडोपोलोस

8

0 = \sum_{i = 1}^{n} S (β, X_{i}, Y_{i}) = D^{T} W (Y - g^{- 1} (X^{T} β))

$0 = \sum_{i=1}^n \mathbf{S}(\beta, X_i, Y_i) = \mathbf{D}^{T} W \left( Y - g^{-1} (\mathbf{X}^T \beta)\right)$

D = \frac{\partial}{\partial β} g^{- 1} (X^{T} β)

$\mathbf{D} = \frac{\partial}{\partial \beta} g^{-1} ( \mathbf{X}^T \beta)$

W = V^{- 1}

$W = \mathbf{V}^{-1}$ सामान्यीकृत रैखिक मॉडल " । एम एंड एन गॉस न्यूटन प्रकार के एल्गोरिथ्म का उपयोग करके इन प्रकार के कार्यों को हल करने का वर्णन करता है।

दिलचस्प रूप से, हालांकि, यह सूत्रण विधि-प्रकार के क्षण आकलनकर्ता के लिए सुने गए, जहाँ कोई इस बात का अनुमान लगा सकता है कि कोष्ठक अभिव्यक्ति के आरएचएस में "वे जिस चीज का अनुमान लगाना चाहते हैं", और विश्वास है कि अभिव्यक्ति "उस दिलचस्प" में परिवर्तित हो जाएगी। चीज़"। यह समीकरणों का अनुमान लगाने का एक प्रोटो रूप था।

समीकरणों का अनुमान लगाना कोई नई अवधारणा नहीं थी। वास्तव में, ईईएस को टेलर विस्तार का उपयोग करके ईई से सही ढंग से व्युत्पन्न सीमा प्रमेयों को प्रस्तुत करने के लिए 1870 और 1900 के दशक के प्रारंभ तक प्रयास किया गया था, लेकिन एक संभाव्य मॉडल के संबंध में कमी महत्वपूर्ण समीक्षकों के बीच विवाद का कारण थी।

$S$ आनुपातिक स्थिरांक तक होता है। उस आनुपातिक स्थिरांक को "फैलाव" कहा जाता है। वेडरबर्न से एक उपयोगी परिणाम यह है कि संभाव्य मान्यताओं से मजबूत प्रस्थान के परिणामस्वरूप बड़े या छोटे फैलाव हो सकते हैं।

हालांकि, ऊपर दिए गए उत्तर के विपरीत, क्वासिलिकेलहुड का बड़े पैमाने पर उपयोग किया गया है। मैकक्लोघ और नेल्डर में एक बहुत अच्छी चर्चा घोड़े की नाल केकड़ों की जनसंख्या मॉडलिंग से संबंधित है। मनुष्यों के विपरीत नहीं, उनकी संभोग की आदतें केवल विचित्र हैं: जहां कई पुरुष एक अकेली मादा को "झुंड" में झुंड सकते हैं। एक पारिस्थितिक दृष्टिकोण से, वास्तव में इन समूहों का निरीक्षण करना उनके काम के दायरे से परे है, लेकिन फिर भी पकड़ने और रिलीज से आबादी के आकार की भविष्यवाणियों पर पहुंचने से एक महत्वपूर्ण चुनौती सामने आई है। यह पता चला है कि इस संभोग पैटर्न का परिणाम एक पॉइसन मॉडल में है, जिसके तहत महत्वपूर्ण फैलाव है, यह कहना है कि विचरण आनुपातिक है, लेकिन यह माध्य के बराबर नहीं है।

अव्यवस्थाओं को इस मायने में उपद्रव मानदंड माना जाता है कि हम आम तौर पर उनके मूल्य के बारे में अनुमान नहीं लगाते हैं, और संयुक्त रूप से उन्हें एक ही संभावना में अनियमित अनियमितताओं का परिणाम मिलता है। क्वासिलिकेलीहुड सांख्यिकी का एक बहुत ही उपयोगी क्षेत्र है, विशेष रूप से सामान्यीकृत समीकरणों पर बाद के काम के प्रकाश में ।

— Adamo
स्रोत

1

(+1) बहुत उपयोगी उत्तर।

— एलेकोस पापाडोपोलोस

2

मेरे पास रिचर्ड हार्डी से यहां पोस्ट किए गए मूल प्रश्न के समान था। मेरा भ्रम यह था कि अर्ध-एमएल से अनुमानित पैरामीटर अज्ञात "सही" वितरण में मौजूद नहीं हो सकते हैं। इस मामले में, "स्थिरता" का क्या मतलब है? अनुमानित पैरामीटर किसके अनुरूप हैं?

कुछ संदर्भों की जाँच करने के बाद ( श्वेत (1982) मूल लेखों में से एक होना चाहिए, लेकिन दिनांकित है। मुझे लगा एक उपयोगी विवरण http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf है ) सादे अंग्रेजी में मेरे विचार इस प्रकार हैं: यह मानने के बाद कि जो वितरण हम मानते हैं वह अज्ञात सत्य के लिए एक सन्निकटन है, व्यावहारिक रूप से हम जो कर सकते हैं वह है उनकी दूरी को कम करने के लिए पैरामीटर मान खोजना ( कुल्लबैक-लिबलर दूरी)सटीक होना)। सिद्धांत की सुंदरता यह है कि सच्चे वितरण को जानने की आवश्यकता के बिना, अर्ध-एमएल से अनुमानित पैरामीटर इस दूरी को कम करने वाले पैरामीटर में परिवर्तित होते हैं (निश्चित रूप से, सिद्धांत से अन्य उपयोगी परिणाम हैं जैसे कि अनुमानित के विषम वितरण मापदंडों आदि लेकिन वे यहाँ मेरे सवाल का फोकस नहीं हैं)।

जैसा कि एलेकोस पापाडोपस ने अपने उत्तर में उल्लेख किया है, कम से कम दूरी अभी भी बड़ी हो सकती है। इसलिए हम जो वितरण करते हैं वह सही अनुमान के लिए एक खराब अनुमान हो सकता है। सभी अर्ध-विधायक जो कर सकते हैं वह हमारे ग्रहण किए गए वितरण को यथासंभव अज्ञात सत्य के करीब बना रहा है। आशा है कि यहां साझा किया गया मेरा अनुभव दूसरों के लिए समान भ्रम पैदा करने वाला हो सकता है।

— फ्रैंक
स्रोत