वहाँ हमेशा किसी भी MLE समस्या के लिए एक अधिकतम है?

23

मुझे आश्चर्य है कि क्या किसी भी अधिकतम (लॉग-) संभावना आकलन समस्या के लिए हमेशा एक अधिकतम है? दूसरे शब्दों में, क्या कुछ वितरण और इसके कुछ पैरामीटर हैं, जिनके लिए MLE समस्या का अधिकतम भार नहीं है?

मेरा प्रश्न एक इंजीनियर के दावे से आता है कि MLE में लागत फ़ंक्शन (संभावना या लॉग-लाइबिलिटी, मुझे यकीन नहीं है) का उद्देश्य हमेशा अवतल होता है और इसलिए यह हमेशा एक अधिकतम होता है।

धन्यवाद एवं शुभकामनाएँ!

maximum-likelihood optimization

— टिम
स्रोत

8

(+1) क्या आप सुनिश्चित हैं कि कुछ योग्यताएँ नहीं हैं जो आपके प्रश्न में अस्थिर हो गई हैं? जैसा कि यह खड़ा है, इंजीनियर का बयान इतने अलग-अलग तरीकों से गलत है, यह जानना लगभग कठिन है कि कहां से शुरू करें। :)

— कार्डिनल

@कार्डिनल: मैंने मूल रूप से वही लिखा है जो मैंने सुना है। लेकिन मैं मानता हूं कि मुझे कुछ याद आ सकता है।

— टिम

5

Counterexample (उत्तलता): को iid । हालांकि एक अद्वितीय MLE है, न तो संभावना और न ही लॉग-लाइबिलिटी में उत्तल है ।

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

— कार्डिनल

3

@Tim लॉजिस्टिक रिग्रेशन एक मूल उदाहरण है जहाँ MLE हमेशा मौजूद नहीं होता है। इसके अलावा, कुछ लिंक फ़ंक्शंस के लिए लॉग-लाइबिलिटी अवतल नहीं है।

30

शायद इंजीनियर ने कैनोनिकल घातीय परिवारों को ध्यान में रखा था: उनके प्राकृतिक पैराट्रिएजेशन में, पैरामीटर स्पेस उत्तल है और लॉग-लाइबिलिटी अवतल है (बिकेल और डोकसम के मैथमैटिक्स स्टैटिस्टिक्स, वॉल्यूम 1 में Thm 1.6.3 देखें )। इसके अलावा, कुछ हल्के तकनीकी परिस्थितियों में (मूल रूप से मॉडल "पूर्ण रैंक", या समकक्ष, कि पहचान के द्वारा प्राकृतिक पैरामीटर), लॉग-लाइबिलिटी फ़ंक्शन सख्ती से अवतल होता है, जिसका अर्थ है कि एक अद्वितीय अधिकतम मौजूद है। (एक ही संदर्भ में कोरोलरी 1.6.2।) [@Bostat द्वारा उद्धृत व्याख्यान नोट्स भी यही बात कहते हैं।]

ध्यान दें कि एक विहित घातीय परिवार के प्राकृतिक पैराट्राइज़ेशन आमतौर पर मानक पैरामीरीज़ेशन से अलग होते हैं। तो, जबकि बाहर है कि परिवार के लिए लॉग-संभावना @cardinal अंक है नहीं उत्तल में , यह अवतल प्राकृतिक मानकों, जो कर रहे हैं में हो जाएगा और । $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

— DavidR
स्रोत

2

(+1) अच्छा जवाब। जैसा कि ओपी के लिए मेरी टिप्पणियों में संकेत दिया गया है, यह वह उत्तर है जो मैं उम्मीद कर रहा था कि पोस्ट किया जाएगा (यहां तक कि प्रतिसाद ध्यान से इसे ध्यान से चुना गया था)। :)

— कार्डिनल

2

क्या आप इसे मल्टीवेरेट गौसियन मॉडल में दिखा सकते हैं?

— रॉय

6

ब्याज के पैरामीटर के आकलन के लिए संभावना समारोह अक्सर अधिकतम प्राप्त करता है। फिर भी, कभी-कभी MLE मौजूद नहीं होता है, जैसे कि Gaussian मिश्रण वितरण या गैरपारंपरिक कार्यों के लिए, जिसमें एक से अधिक चोटियाँ (द्वि या मल्टी -मॉडल) होती हैं। मैं अक्सर जनसंख्या आनुवांशिकी अज्ञात मापदंडों अर्थात पुनर्संयोजन दर, प्राकृतिक चयन के प्रभाव का आकलन करने की समस्या का सामना करता हूं।

एक कारण यह भी है कि @ कार्डिनल पॉइंट आउटबाउंड पैरामीट्रिक स्पेस है।

इसके अलावा, मैं निम्नलिखित लेख की सिफारिश करूंगा , खंड 3 (फ़ंक्शन के लिए) और Fig.3 देखें। हालाँकि, MLE के बारे में काफी उपयोगी और उपयोगी दस्तावेज़ जानकारी है।

— Biostat
स्रोत

3

मुझे लगता है कि मुझे आपके बताए उदाहरण को गलत समझना चाहिए। क्या द्विघात कार्य एक से अधिक शिखर हैं?

— कार्डिनल

@कार्डिनल: मुझे समझाने की कोशिश करते हैं। आप अनबाउंड पैरामीटर के बारे में बात कर रहे हैं, यह एक कारण है कि संभावना वितरण सामान्य वितरण के सरल उदाहरण में भी अधिकतम प्राप्त नहीं करता है। हालांकि, मेरी बात अनुकूलन के दृष्टिकोण से है कि स्थानीय और वैश्विक मैक्सिमा की एक लोकप्रिय समस्या है। पुनर्संयोजन दर का आकलन करते समय मुझे जनसंख्या आनुवंशिकी में अक्सर इस समस्या का सामना करना पड़ा। इसके अलावा इस आलेख को देखें खंड 3 (फ़ंक्शन के लिए) और अंजीर 3. लेख URL: citeseerx.ist.psu.edu/viewdoc/…

— Biostat

तो क्या आप कह रहे हैं "एक से अधिक चोटी के साथ द्विघात कार्य", उदाहरण के लिए, एक गाऊसी मिश्रण मॉडल है, शायद? यदि हां, तो एक संपादन शायद कुछ भ्रम को साफ कर सकता है।

— कार्डिनल

अब इसे अपडेट किया गया है।

— बायोस्टैट

2

(+1) अपडेट के लिए। ध्यान दें कि गौसियन मिश्रण मॉडल में दोनों की संभावना नहीं है और सामान्य रूप से कई स्थानीय मैक्सिमा मौजूद हैं। मामलों को बदतर बनाने के लिए, विशेष रूप से रोग समाधान पर संभावना अनबिके हो जाती है। सामान्य तौर पर, एकाधिक मैक्सिमा किसी मुद्दे के रूप में खराब नहीं हो सकती है। कुछ मामलों में, ये मैक्सिमा एक दूसरे के लिए पर्याप्त रूप से तेजी से अभिसरण करती हैं कि उनमें से कोई भी उठाकर अभी भी ब्याज के पैरामीटर के उचित (समान, कुशल) अनुमानक का उत्पादन कर सकता है।

— कार्डिनल

3

मैं मानता हूँ कि मुझे कुछ याद आ रहा है, लेकिन -

यदि यह एक अनुमान समस्या है, और लक्ष्य एक अज्ञात पैरामीटर का अनुमान लगाने के लिए है, और पैरामीटर को कुछ बंद और बंधे सेट से आने के लिए जाना जाता है, और संभावना फ़ंक्शन निरंतर है, तो इस पैरामीटर के लिए एक मान मौजूद है जो अधिकतम होता है संभावना समारोह। दूसरे शब्दों में, एक अधिकतम अस्तित्व में है। (यह अद्वितीय होने की आवश्यकता नहीं है, लेकिन कम से कम एक अधिकतम मौजूद होना चाहिए। इस बात की कोई गारंटी नहीं है कि सभी स्थानीय मैक्सिमा वैश्विक मैक्सिमा होंगी, लेकिन अधिकतम अस्तित्व के लिए यह आवश्यक शर्त नहीं है।)

मुझे नहीं पता कि संभावना फ़ंक्शन को हमेशा उत्तल होना पड़ता है, लेकिन यह एक अधिकतम मौजूद होने के लिए आवश्यक शर्त नहीं है।

यदि मैंने कुछ अनदेखा किया है, तो मैं यह सुनकर स्वागत करूंगा कि यह क्या है जो मुझे याद आ रही है।

— DW
स्रोत

4

अतिरिक्त मान्यताओं को ध्यान में रखते हुए, मैक्सिमा के संबंध में दिया गया कथन गलत है। उदाहरण के लिए, यदि पैरामीटर स्पेस बंद है और बाउंड है और संभावना फ़ंक्शन पैरामीटर में निरंतर है, तो एक अधिकतम मौजूद होना चाहिए। इन अतिरिक्त स्थितियों में से किसी में भी अनुपस्थित, परिणाम की आवश्यकता नहीं है। उत्तलता के संबंध में, यह सबसे सरल और सामान्य उदाहरणों में भी विफल रहता है। :)

— कार्डिनल

2

(+1) पैरामीटर स्पेस की बाध्यता बहुत सारे साधारण मामलों में भी पकड़ में नहीं आती है। लेकिन, व्यावहारिक उद्देश्यों के लिए, हम आम तौर पर जानते हैं कि हमारे पैरामीटर बाध्य हैं। :)

— कार्डिनल

3

शायद किसी को निम्नलिखित सरल उदाहरण उपयोगी मिलेगा।

$\theta$ $\theta \in (0,1)$ $(0,1)$ $\theta$

{\begin{cases} θ & सिर \\ 1 - θ & पूंछ \end{cases} ।

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$

θ

$\theta$

(0, 1)

$(0,1)$

— MEF
स्रोत