अधिकतम संभावना कब काम करती है और कब नहीं?

Question

मैं अधिकतम संभावना पद्धति के बारे में उलझन में हूं, जैसे कि अंकगणितीय माध्य की गणना।

कब और क्यों अधिकतम संभावना उदाहरण के अंकगणित की तुलना में "बेहतर" अनुमानों का उत्पादन करती है? यह कैसे सत्यापित होता है?

Comments

+1 यह किसी भी सांख्यिकीय प्रक्रिया से पूछने के लिए एक अच्छा प्रश्न है।

— whuber

मुझे नहीं लगता कि यह सवाल बहुत अस्पष्ट है। निश्चित रूप से ओपी अस्पष्ट है, लेकिन यही कारण है कि वे पूछ रहे हैं। MLE और अंकगणितीय साधनों की प्रकृति के बारे में मुद्दों को अच्छे उत्तर के साथ साफ किया जाना चाहिए।

— गूँग - मोनिका

"बेहतर" से आपका क्या मतलब है? और अंकगणित का मतलब एक मनमाना पैरामीटर का एक अच्छा अनुमानक क्यों होगा?

— शीआन

प्रश्न का उत्तर "बेहतर" की परिभाषा के बिना सेट नहीं किया जा सकता है, अर्थात, हानि फ़ंक्शन या किसी अन्य मानदंड से जो अनुमानकर्ताओं की तुलना करने की अनुमति देता है। उदाहरण के लिए, MLE कुशल है, जिसका अर्थ है कि एक छोटा असममित विचरण (कुछ नियमित परिस्थितियों के तहत) के साथ कोई अनुमानक नहीं है। उदाहरण के लिए, MLE Stein प्रभाव द्वारा प्रदर्शित के रूप में अप्रभावी हो सकता है , जिसका अर्थ है नमूना के वितरण और पैरामीटर के आयाम पर कुछ बाधाओं के तहत पैरामीटर के सभी मूल्यों के लिए एक छोटे से द्विघात जोखिम के साथ अनुमानक मौजूद हैं।

— शीआन

@ शीआन यह एक जवाब के आधार की तरह लग रहा है।

— whuber

Answer 1

जबकि अंकगणित माध्य "प्राकृतिक" अनुमानक के रूप में लग सकता है, कोई यह पूछ सकता है कि इसे MLE को क्यों पसंद किया जाना चाहिए! अंकगणित माध्य से जुड़ी एकमात्र सुनिश्चित संपत्ति यह है कि यह ई [ एक्स ] का एक निष्पक्ष अनुमानक है जब यह अपेक्षा परिभाषित होती है। (काऊची वितरण को एक काउंटर-उदाहरण के रूप में सोचें।) बाद में वास्तव में संभावना फ़ंक्शन पर नियमितता की शर्तों के तहत गुणों की एक विस्तृत श्रृंखला का आनंद मिलता है। विकिपीडिया पृष्ठ से उधार लेने के लिए , MLE है$\bar{x}$$\mathbb{E}[X]$

1. संगत
2. asymptotically सामान्य
3. उस में कुशल यह न्यूनतम स्पर्शोन्मुख विचरण को प्राप्त करता है
4. विशेषण के तहत आक्रामक परिवर्तन
5. विवश पैरामीटर सेट के लिए भी पैरामीटर सेट के भीतर

अंकगणित माध्य की तुलना में, उन गुणों में से अधिकांश नियमित रूप से पर्याप्त वितरण के लिए भी संतुष्ट हैं। 4 और 5. को छोड़कर, घातीय परिवारों के मामले में, MLE और अंकगणितीय माध्य पैरामीटर पैरामीटर के आकलन के लिए समान हैं (लेकिन अन्य पैरामीटर के लिए नहीं)। और MLE कॉची वितरण से एक नमूने के लिए मौजूद है।

हालांकि, जब न्यूनतम इष्टतमता या स्वीकार्यता जैसे नमूना इष्टतमता गुणों की ओर मुड़ते हैं, तो ऐसा हो सकता है कि एमएलई न तो न्यूनतम या स्वीकार्य हो। उदाहरण के लिए, स्टीन प्रभाव दिखाता है कि नमूने के वितरण और पैरामीटर के आयाम पर कुछ बाधाओं के तहत पैरामीटर के सभी मूल्यों के लिए एक छोटे से द्विघात जोखिम के साथ मौजूद हैं। यह मामला है जब और$x\sim\mathcal{N}_p(\theta,I_p)$ ।$p\ge 3$

Comments

केवल mle के बारे में स्पष्ट करने के लिए - सूचीबद्ध 5 गुण आबादी के लिए एक मान्य मॉडल के संदर्भ में हैं।

— probabilityislogic

@CagdasOzgenc: हाँ वर्चस्व asymptotically नगण्य है लेकिन के लिए सभी रखती है ..! हालांकि साथ जेम्स-स्टीन अल्पमहिष्ठ आकलनकर्ता की सिकुड़ती की सीमा n संकोचन निरंतर के बाद से दोनों के बीच है 0 और 2 ( पी - 2 ) σ 2 / n जहां पी आयाम है और σ 2 एक अवलोकन घटक के विचरण। मैं asymptotic minimalaxity के बारे में कभी नहीं सुना, हालांकि।$n's$$n$$0$$2(p-2)\sigma^2/n$$p$$\sigma^2$

— शीआन

Answer 2

आइए "क्षण की विधि का उपयोग करके अनुमान के रूप में" अंकगणित माध्य की गणना करें। मेरा मानना ​​है कि यह मूल प्रश्न के लिए वफादार है क्योंकि विधि सैद्धांतिक लोगों के लिए नमूना औसत को प्रतिस्थापित करती है। यह @ शीआन की एक मनमाना पैरामीटर (एक मनमाने मॉडल से) के बारे में चिंता को भी संबोधित करता है।

यदि आप अभी भी मेरे साथ हैं, तो मुझे लगता है कि जाने के लिए एक शानदार जगह है उदाहरण जहां क्षणों की विधि छोटे नमूनों में अधिकतम संभावना को हरा सकती है?प्रश्न पाठ यह बताता है कि "अधिकतम संभावना अनुमानक (MLE) विषमतापूर्ण रूप से कुशल हैं; हम व्यावहारिक रूप से देखते हैं कि वे अक्सर क्षणों की विधि (MoM) के अनुमानों (जब वे भिन्न होते हैं) की तुलना में बेहतर करते हैं, और ऐसे मामलों की तलाश करते हैं जहाँ MoM अनुमानक होते हैं। अपने MLE समकक्ष की तुलना में एक छोटा माध्य चुकता त्रुटि प्राप्त करें। प्रदान किए जाने वाले कुछ उदाहरण रेखीय प्रतिगमन, दो-पैरामीटर व्युत्क्रम गौसियन वितरण और एक असममित घातीय विद्युत वितरण के संदर्भ में हैं।

"असममित दक्षता" के इस विचार का अर्थ है कि अधिकतम संभावना अनुमानक संभवतः डेटा को अपनी पूर्ण क्षमता (प्रश्न में पैरामीटर का अनुमान लगाने के लिए) का उपयोग करने के करीब हैं, एक गारंटी जो आपको सामान्य रूप से क्षणों की विधि के साथ नहीं मिलती है। जबकि अधिकतम संभावना औसत के साथ काम करने से हमेशा "बेहतर" नहीं होती है, यह दक्षता संपत्ति (यदि केवल सीमा में है) यह सबसे आवृत्तियों के लिए एक विधि है। बेशक, विरोधाभास यह तर्क दे सकता है कि डेटा सेट के बढ़ते आकार के साथ, यदि आप औसत लक्ष्य के साथ सही लक्ष्य पर इशारा कर रहे हैं, तो इसके साथ जाएं।

Answer 3

कई प्रसिद्ध उदाहरण हैं जहां अधिकतम संभावना (एमएल) सबसे अच्छा समाधान प्रदान नहीं करता है। लूसिएन ले कैम का 1990 का पेपर देखें: "अधिकतम संभावना: एक परिचय" [1] , जो यूनीव में उनके आमंत्रित व्याख्यानों से है। मैरीलैंड की।

उदाहरण है कि मुझे सबसे ज्यादा पसंद है, क्योंकि यह इतना सीधा है, यह है:

स्वतंत्र यादृच्छिक चर दो अनुक्रमों पर विचार करें$X_j$$Y_j$$j = 1,...,n$$X_j\sim N(\mu_j,\sigma^2)$$Y_j\sim N(\mu_j,\sigma^2)$$j$$X_j$$Y_j$$j$$\sigma^2$ ?

मैं आपको उत्तर देकर मज़ा बर्बाद नहीं करूँगा, लेकिन (कोई आश्चर्य की बात नहीं) एमएल का उपयोग करके इसे हल करने के दो तरीके हैं और वे अलग-अलग समाधान देते हैं। एक वर्ग के अवशेषों का "अंकगणित माध्य" है (जैसा कि कोई उम्मीद करेगा), और दूसरा अंकगणितीय माध्य है। आप उत्तर मिल सकता है यहाँ मेरी Github पृष्ठ पर।