क्षणों की विधि क्या है और यह MLE से कैसे भिन्न है?

Question

सामान्य तौर पर ऐसा लगता है कि क्षणों की विधि पैरामीटर मान प्राप्त करने के लिए केवल देखे गए नमूना माध्य या सैद्धांतिक क्षणों के विचरण से मेल खा रही है। यह अक्सर घातीय परिवारों के लिए MLE जैसा होता है, मैं इकट्ठा होता हूं।

हालांकि, क्षणों की विधि की स्पष्ट परिभाषा और एमएलई के आम तौर पर इष्ट होने के कारण इसकी स्पष्ट चर्चा करना मुश्किल है, भले ही यह संभावना फ़ंक्शन के मोड को खोजने के लिए पेचीदा हो।

यह प्रश्न क्या MLE मोमेंट विधि से अधिक कुशल है? प्रो। डोनाल्ड रुबिन (हार्वर्ड में) के एक उद्धरण में कहा गया है कि हर कोई 40 के दशक से जानता है कि MLE MoM को हराता है, लेकिन मुझे इसके बारे में इतिहास या तर्क जानने में दिलचस्पी होगी।

Comments

यहाँ MLE / MoM के पेशेवरों / विपक्षों पर चर्चा करने वाली एक प्रस्तुति है: gradquant.ucr.edu/wp-content/uploads/2013/11/…

— जॉन

क्षणों की चर्चा करने की साइट पर कई उत्तर आपको समझने में मदद करने के लिए प्रासंगिक हो सकते हैं।

— Glen_b -Reinstate मोनिका

इन्हें भी देखें stats.stackexchange.com/a/129188/28746

— Alecos पापाडोपौलोस

@ जोन: डेड लिंक।

— बेन -

Answer 1

MoM में, अनुमानक को चुना जाता है ताकि कुछ फ़ंक्शन में सशर्त अपेक्षा शून्य के बराबर हो। जैसे । अक्सर उम्मीद पर सशर्त है । आमतौर पर, यह वजन मैट्रिक्स के साथ इस अपेक्षा में एक द्विघात रूप को कम करने की समस्या में बदल जाता है।$E[g(y,x,\theta)] = 0$$x$

MLE में, अनुमानक लॉग संभावना फ़ंक्शन को अधिकतम करता है।

व्यापक सामान्यीकरण में, MLE सख्त धारणाएं (पूर्ण घनत्व) बनाता है और इस प्रकार आम तौर पर कम मजबूत लेकिन अधिक कुशल होता है यदि मान्यताओं को पूरा किया जाता है (यह स्पर्शोन्मुख विचरण पर कम क्रेमर राव को प्राप्त करता है)।

कुछ मामलों में दो संयोग, ओएलएस एक उल्लेखनीय उदाहरण है जहां विश्लेषणात्मक समाधान समान है और इसलिए अनुमानक उसी तरह से व्यवहार करता है।

कुछ अर्थों में, आप एक एमएलई (लगभग सभी मामलों में) एमओएम अनुमानक के रूप में सोच सकते हैं क्योंकि अनुमानक लॉग लाइबिलिटी फ़ंक्शन के ग्रेडिएंट के अपेक्षित मान को शून्य के बराबर सेट करता है। उस अर्थ में, ऐसे मामले हैं जहां घनत्व गलत है लेकिन MLE अभी भी सुसंगत है क्योंकि पहले क्रम की स्थिति अभी भी संतुष्ट है। तब MLE को "अर्ध-एमएल" कहा जाता है।

Comments

आमतौर पर, MoM वाले उस मामले को संदर्भित करते हैं जहां फ़ंक्शन जी कुछ शक्ति है, इसलिए उम्मीद एक पल है। यह "क्षणों के सामान्यीकृत विधि" की तरह दिखता है।

— kjetil b halvorsen

OLS क्षण आकलनकर्ता (MoME) की एक विधि है। यह भी एक अधिकतम संभावना अनुमानक (MLE) है, लेकिन केवल संभावना के एक विशेष मामले के लिए - सामान्य। एक और वितरण के लिए, ओएलएस एक एमएलई नहीं होगा, जबकि यह अभी भी एक एमएमई है।

— रिचर्ड हार्डी

Answer 2

क्षणों की विधि क्या है?

विकिपीडिया पर इस बारे में एक अच्छा लेख है।

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

इसका मतलब है कि आप जनसंख्या मापदंडों का आकलन ऐसे मापदंडों का चयन करके कर रहे हैं कि जनसंख्या वितरण में वे क्षण होते हैं जो नमूने में देखे गए क्षणों के बराबर होते हैं।

यह MLE से कैसे भिन्न है

अधिकतम संभावना अनुमान संभावना फ़ंक्शन को कम करता है। कुछ मामलों में यह न्यूनतम कभी-कभी जनसंख्या मापदंडों को नमूना मापदंडों के बराबर स्थापित करने के संदर्भ में व्यक्त किया जा सकता है।

उदाहरण के लिए, जब वितरण के माध्य पैरामीटर का अनुमान लगाया जाता है और MLE को नियोजित किया जाता है, तो अक्सर हम का उपयोग करते हुए समाप्त हो जाते हैं । हालांकि यह हमेशा मामला होने की जरूरत नहीं है (संबंधित: https://stats.stackexchange.com/a/317631/164061 हालांकि उदाहरण के मामले में, पॉइसन वितरण, MLE और MoM अनुमान संयोगवश, और वही कई अन्य लोगों के लिए सच है)। उदाहरण के लिए लॉग सामान्य वितरण में के अनुमान के लिए MLE समाधान है:$\mu = \bar{x}$ μ$\mu$

$$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$$

जबकि एमओएम समाधान हल कर रहा है

$$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$$ से $$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$$

---

इसलिए MoM मापदंडों का अनुमान लगाने का एक व्यावहारिक तरीका है, जो अक्सर MLE के समान सटीक परिणाम के लिए अग्रणी होता है (क्योंकि नमूना के क्षण अक्सर आबादी के क्षणों के साथ मेल खाते हैं, उदाहरण के लिए नमूना माध्य जनसंख्या माध्य के आसपास वितरित किया जाता है, और कुछ कारक / पूर्वाग्रह तक, यह बहुत अच्छी तरह से काम करता है)। MLE के पास एक मजबूत सैद्धांतिक आधार है और उदाहरण के लिए फिशर मैट्रिक्स (या इसका अनुमान) का उपयोग करके त्रुटियों का अनुमान लगाने की अनुमति देता है , और यह प्रतिगमन समस्याओं के मामले में बहुत अधिक प्राकृतिक दृष्टिकोण है (मैंने इसे आज़माया नहीं है लेकिन मुझे लगता है कि एक सरल रैखिक प्रतिगमन में मापदंडों को हल करने के लिए एक एमओएमआसानी से काम नहीं कर रहा है और बुरे परिणाम दे सकता है। सुपरप्रोकर के जवाब में ऐसा लगता है कि यह किसी फ़ंक्शन के कुछ कम से कम द्वारा किया गया है। MLE के लिए यह न्यूनतमकरण उच्च संभावना व्यक्त करता है, लेकिन मुझे आश्चर्य है कि क्या यह MoM के लिए इस तरह की चीज का प्रतिनिधित्व करता है)।

Answer 3

Soorry, मैं टिप्पणी पिछले नहीं कर सकते हैं ..

MLE सख्त धारणाएं (पूर्ण घनत्व) बनाता है और इस प्रकार आम तौर पर कम मजबूत लेकिन अधिक कुशल होता है यदि मान्यताओं को पूरा किया जाता है

वास्तव में MITx " सांख्यिकी के बुनियादी ढांचे" में हमें विपरीत सिखाया जाता है, कि MoM क्षणों के विशिष्ट समीकरण पर निर्भर करता है, और यदि हम गलत घनत्व को उठाते हैं, तो हम पूरी तरह से गलत करते हैं, जबकि MLE अधिक लचीला है, क्योंकि हम सभी मामलों में न्यूनतम करते हैं। केडी विचलन ।।

Comments

एक टिप्पणी के लिए जवाब की जगह का उपयोग करने के लिए प्रतिष्ठा की कमी एक वैध बहाना नहीं है।

— माइकल आर। चेरिक