क्यों अधिकतम संभावना और अपेक्षित संभावना नहीं है?

मापदंडों के अधिकतम संभावना अनुमान प्राप्त करना इतना सामान्य क्यों है, लेकिन आप वास्तव में संभावित संभावना पैरामीटर अनुमानों के बारे में कभी नहीं सुनते हैं (यानी, संभावना फ़ंक्शन के मोड के बजाय अपेक्षित मूल्य के आधार पर )? क्या यह मुख्य रूप से ऐतिहासिक कारणों से है, या अधिक तकनीकी या सैद्धांतिक कारणों से?

क्या अधिकतम संभावना अनुमानों के बजाय अपेक्षित संभावना अनुमानों का उपयोग करने के लिए महत्वपूर्ण फायदे और / या नुकसान होंगे?

कुछ ऐसे क्षेत्र में जो उम्मीद संभावना अनुमान कर रहे हैं कर रहे हैं नियमित तौर पर इस्तेमाल?

— जेक वेस्टफॉल
स्रोत

क्या संभावना वितरण के संबंध में अपेक्षित मूल्य? एमएल आमतौर पर गैर-बायेसियन विश्लेषणों में लागू किया जाता है जहां (ए) डेटा दिए गए हैं (और तय किए गए हैं) और (बी) मापदंडों को अज्ञात (अज्ञात) स्थिरांक के रूप में माना जाता है: कोई यादृच्छिक चर नहीं हैं।

— whuber

जवाबों:

प्रस्तावित विधि (एक घनत्व होने की संभावना को सामान्य करने के बाद) मॉडल में सभी मापदंडों से पहले एक फ्लैट का उपयोग करके मापदंडों का आकलन करने के बराबर है और आपके अनुमानक के रूप में पीछे वितरण के माध्यम का उपयोग कर रहा है। ऐसे मामले हैं जहां पहले एक फ्लैट का उपयोग करना आपको परेशानी में डाल सकता है क्योंकि आप एक उचित पश्च वितरण के साथ समाप्त नहीं होते हैं, इसलिए मुझे नहीं पता कि आप उस स्थिति को कैसे सुधारेंगे।

लगातार संदर्भ में बने रहना, हालाँकि, विधि का कोई मतलब नहीं है क्योंकि संभावना अधिकांश संदर्भों में संभाव्यता घनत्व का गठन नहीं करती है और कुछ भी यादृच्छिक नहीं होता है, इसलिए एक उम्मीद लेना बहुत मायने नहीं रखता है। अब हम इसे केवल एक ऑपरेशन के रूप में औपचारिक रूप से लागू कर सकते हैं, हम इस तथ्य के बाद संभावना पर लागू होते हैं कि एक अनुमान प्राप्त करने के लिए, लेकिन मुझे यकीन नहीं है कि इस अनुमानक के लगातार गुण क्या दिखेंगे (उन मामलों में जहां अनुमान वास्तव में मौजूद है)।

लाभ:

यह कुछ मामलों में एक अनुमान प्रदान कर सकता है जहां MLE वास्तव में मौजूद नहीं है।
यदि आप जिद्दी नहीं हैं, तो यह आपको बायेसियन सेटिंग में ले जा सकता है (और शायद इस प्रकार के अनुमान के साथ इंसाफ करने का स्वाभाविक तरीका होगा)। ठीक है, इसलिए आपके विचारों के आधार पर यह एक फायदा नहीं हो सकता है - लेकिन यह मेरे लिए है।

नुकसान:

यह मौजूद होने की गारंटी नहीं है।
यदि हमारे पास उत्तल पैरामीटर नहीं है तो अनुमान पैरामीटर के लिए मान्य मान नहीं हो सकता है।
$\sigma$ $\sigma^2$

— Dason
स्रोत

+1 । मापदंडों के एक समान वितरण को संभालने के साथ एक बड़ी समस्या यह है कि एमएल समस्याओं को उनके पुनर्मूल्यांकन के समाधान के आक्रमण का फायदा उठाकर अक्सर सुधार किया जाता है: हालांकि, जो मापदंडों पर पूर्व वितरण को बदल देगा। इस प्रकार "अपेक्षा" को लेना मानो मापदंडों का एक समान वितरण है एक मनमाना विरूपण साक्ष्य है और इससे गलत और अर्थहीन परिणाम हो सकते हैं।

— whuber

अच्छी बात! मैं उस का उल्लेख करने जा रहा था, लेकिन बाकी टाइपिंग करते समय इसे लाना भूल गया।

— दासन

रिकॉर्ड के लिए, अधिकतम संभावना या तो पुनर्मूल्यांकन करने के लिए अपरिवर्तनीय नहीं है।

— नील जी

@NeilG हाँ यह है? शायद हम विभिन्न विचारों का जिक्र कर रहे हैं। जब आप कहते हैं कि आपका क्या मतलब है?

— दासोन

p \in [0, 1]

$p \in [0,1]$

α = β = 2

$\alpha=\beta=2$

o \in [0, \infty)

$o \in [0, \infty)$

α = β = 2

$\alpha=\beta=2$

\frac{1}{2}

$\frac12$

\frac{1}{3}

$\frac13$

\frac{1}{4}

$\frac14$

एक कारण यह है कि अधिकतम संभावना का अनुमान आसान है: आप संभावना के व्युत्पन्न को सेट करते हैं मापदंडों को शून्य करने के लिए पैरामीटर को हल करते हैं। एक अपेक्षा लेने का अर्थ है कि प्रत्येक पैरामीटर की संभावना समय को एकीकृत करना।

$\{x_i\}$ $\mu=E(x)$ $\chi=E(x^2)$ ।

कुछ मामलों में, अधिकतम संभावना पैरामीटर अपेक्षित संभावना पैरामीटर के समान है। उदाहरण के लिए, ऊपर दिए गए सामान्य वितरण की अपेक्षित संभावना का मतलब अधिकतम संभावना के समान है क्योंकि औसत पर पूर्व सामान्य है, और सामान्य वितरण का मोड और माध्य मेल खाता है। बेशक, जो अन्य पैरामीटर के लिए सही नहीं होगा (हालांकि आप इसे पैरामीरिज करते हैं)।

मुझे लगता है कि सबसे महत्वपूर्ण कारण शायद यह है कि आप मापदंडों की अपेक्षा क्यों चाहते हैं? आमतौर पर, आप एक मॉडल सीख रहे हैं और पैरामीटर मान आप चाहते हैं। यदि आप एक एकल मान वापस करने जा रहे हैं, तो अधिकतम संभावना यह नहीं है कि आप सबसे अच्छा रिटर्न दे सकें?

— नील जी
स्रोत

अपनी अंतिम पंक्ति के संबंध में: शायद - शायद नहीं। यह आपके नुकसान के कार्य पर निर्भर करता है। मैं सिर्फ जेक के विचार के साथ खिलवाड़ करता हूं और ऐसा लगता है कि X ~ Unif (0, थीटा) के मामले में यह अधिकतम (X) * (n-1) / (n-2) है, जो कि जेक का तरीका बताता है, एक बेहतर है अधिकतम (X) की तुलना में MSE जो MLE है (कम से कम सिमुलेशन तब n> = 5)। स्पष्ट रूप से यूनिफ (0, थीटा) उदाहरण विशिष्ट नहीं है, लेकिन यह दर्शाता है कि अनुमान लगाने के लिए अन्य प्रशंसनीय तरीके हैं।

— दासन

@ डासन एक मानक (और शक्तिशाली) अच्छा ( यानी , स्वीकार्य) अनुमान लगाने के लिए लगातार तकनीक के लिए विभिन्न गणना करना है। ( उदाहरण के लिए , बिंदु अनुमान पर लेहमैन की पुस्तक देखें ।) आपने ऐसे ही एक अनुमानक को फिर से खोज लिया है।

— व्हीबर

आपके उत्तर के लिए धन्यवाद नील! आप कहते हैं कि भिन्नता के माध्यम से पैरामीटर अनुमान प्राप्त करना एकीकरण की तुलना में आसान है, और मैं निश्चित रूप से देख सकता हूं कि यह सरल समस्याओं के लिए कैसे सच होगा (उदाहरण के लिए, पेन-एंड-पेपर स्तर या बहुत दूर नहीं)। लेकिन बहुत अधिक जटिल समस्याओं के लिए जहां हमें संख्यात्मक विधियों पर निर्भर रहना पड़ता है, क्या वास्तव में एकीकरण का उपयोग करना आसान नहीं हो सकता है? अभ्यास में MLE खोजने में काफी कठिन अनुकूलन समस्या हो सकती है। वास्तव में अभिन्न अभिन्न अंदाजा नहीं लगा सकता कम्प्यूटेशनल रूप से आसान है? या कि ज्यादातर मामलों में सच होने की संभावना नहीं है?

— जेक वेस्टफॉल

@JakeWestfall: आप संख्यात्मक तरीकों का उपयोग करके पैरामीटर स्थान पर एक उम्मीद कैसे ले जा रहे हैं? एक विशाल पैरामीटर स्थान के साथ एक जटिल मॉडल स्थान में, आप प्रत्येक मॉडल (पैरामीटर सेटिंग) की संभावना का मूल्यांकन करने वाली पूरी चीज को एकीकृत नहीं कर सकते। आप आम तौर पर ईएम को चलाने जा रहे हैं जिसके लिए पैरामीटर का अनुमान एम-स्टेप में होता है ताकि प्रत्येक पैरामीटर "सरल समस्याओं" में से एक हो जैसा कि आप कहते हैं, और जिसके लिए अधिकतम संभावना पैरामीटर पर्याप्त आंकड़ों की सीधी अपेक्षाएं हैं।

— नील जी

@ नील, वेल, डासन बताते हैं कि मैं जिस विधि पर चर्चा कर रहा हूं, वह (सामान्यीकरण के बाद) बेयसियन अनुमान के बराबर है, एक फ्लैट से पहले और फिर अनुमान के रूप में पीछे के अर्थ का उपयोग करना। तो "आप संख्यात्मक तरीकों का उपयोग करके पैरामीटर स्थान पर एक अपेक्षा कैसे लेने जा रहे हैं" के जवाब में? मुझे लगता है कि मैं सोच रहा था कि हम इन विधियों में से एक का उपयोग कर सकते हैं: Bayesian-inference.com/numericalapproximation इस पर कोई विचार?

— जेक वेस्टफॉल

यह दृष्टिकोण मौजूद है और इसे मिनिमम कंट्रास्ट एस्टिमेटर कहा जाता है। संबंधित कागज का उदाहरण (और अंदर से अन्य संदर्भ देखें) https://arxiv.org/abs/0901.0655

— दानिला दोरोशिन
स्रोत