MLE बनाम MAP का आकलन, कब किसका उपयोग करना है?

Question

MLE = अधिकतम संभावना अनुमान

एमएपी = अधिकतम एक बादरी

MLE सहज / भोली है जिसमें यह केवल पैरामीटर (यानी संभावना फ़ंक्शन) दिए गए अवलोकन की संभावना के साथ शुरू होता है और अवलोकन के साथ पैरामीटर को सर्वश्रेष्ठ उच्चारण खोजने की कोशिश करता है । लेकिन यह पूर्व ज्ञान को ध्यान में नहीं रखता है।

एमएपी अधिक उचित लगता है क्योंकि यह बेयस नियम के माध्यम से पूर्व ज्ञान को ध्यान में रखता है।

यहाँ एक संबंधित प्रश्न है, लेकिन उत्तर पूरी तरह से नहीं है। /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

इसलिए, मुझे लगता है कि एमएपी ज्यादा बेहतर है। क्या वह सही है? और मुझे कब उपयोग करना चाहिए?

Answer 1

यदि समस्या की स्थापना के हिस्से के रूप में एक पूर्व संभावना दी जाती है, तो उस जानकारी का उपयोग करें (यानी एमएपी का उपयोग करें)। यदि ऐसी कोई पूर्व सूचना नहीं दी जाती है या मान ली जाती है, तो MAP संभव नहीं है, और MLE एक उचित दृष्टिकोण है।

Comments

यह जोड़ने योग्य है कि फ्लैट पुजारियों के साथ एमएपी एमएल का उपयोग करने के बराबर है।

— टिम

यह भी ध्यान देने योग्य है कि यदि आप गणितीय रूप से "सुविधाजनक" पूर्व चाहते हैं, तो आप पहले से एक संयुग्म का उपयोग कर सकते हैं, यदि कोई आपकी स्थिति में मौजूद है।

— बीन

Answer 2

एक बायेसियन आपके साथ सहमत होगा, एक लगातार नहीं होगा। यह एक राय, परिप्रेक्ष्य और दर्शन का विषय है। मुझे लगता है कि यह आँकड़े समुदाय को यह तर्क देने का प्रयास करने के लिए बहुत नुकसान पहुंचाता है कि एक विधि हमेशा दूसरे से बेहतर होती है। कई समस्याओं में बायेसियन और लगातार समाधान होंगे जो इतने लंबे समय तक होते हैं क्योंकि बायेसियन एक पूर्व के बहुत मजबूत नहीं होते हैं।

Comments

यह केवल राय का विषय नहीं है। ऐसी निश्चित परिस्थितियाँ हैं जहाँ एक अनुमानक दूसरे से बेहतर होता है।

— टॉम मिंका

@TomMinka मैंने कभी नहीं कहा कि ऐसी परिस्थितियाँ नहीं हैं जहाँ एक विधि दूसरे से बेहतर हो! मैंने ओपी के सामान्य बयानों का जवाब दिया जैसे कि "एमएपी अधिक उचित लगता है।" इस तरह का एक बयान एक दावे के बराबर है कि बायेसियन तरीके हमेशा बेहतर होते हैं, जो कि आप और मैं स्पष्ट रूप से दोनों से असहमत हैं।

— jsk

जोक सही है। बायेसियन और अक्सरवादी दृष्टिकोण दार्शनिक रूप से भिन्न होते हैं। इसलिए एक सख्त निरंतरवादी बेयसियन दृष्टिकोण को अस्वीकार्य लगेगा।

— माइकल आर। चेरिक

Answer 3

यदि आपके पास सटीक पूर्व सूचना है, तो मान लें कि समस्या का अनुमान पर शून्य से एक नुकसान कार्य है तो MAP बेहतर है। यदि नुकसान शून्य-एक नहीं है (और कई वास्तविक दुनिया की समस्याओं में यह नहीं है), तो ऐसा हो सकता है कि एमएलई कम अपेक्षित नुकसान को प्राप्त करता है। इन मामलों में, बेहतर होगा कि आप MAP और MLE को केवल दो विकल्पों के रूप में सीमित न करें, क्योंकि वे दोनों उप-रूपी हैं।

Comments

यदि कोई पैरामीटर पैरामीरीज़ेशन पर निर्भर करता है तो MAP आकलनकर्ता, जबकि "0-1" नुकसान नहीं करता है। 0-1 उद्धरण में क्योंकि मेरे अनुमान से सभी अनुमानक आमतौर पर 1 की संभावना 1 के साथ 1 का नुकसान देंगे, और सन्निकटन के निर्माण के लिए किसी भी प्रयास को फिर से पैरामीरिजेशन समस्या का सामना करना पड़ता है

— पुरुष

मेरे विचार में, शून्य-एक नुकसान पैरामीटराइज़ेशन पर निर्भर करता है, इसलिए कोई असंगति नहीं है।

— टॉम मिंका

Answer 4

@ बीन द्वारा लघु उत्तर इसे बहुत अच्छी तरह से समझाता है। हालांकि, मैं पेपर के खंड 1.1 की ओर इशारा करना चाहता हूं, जो कि रेसबिक और हार्डीस्टी द्वारा किए गए बिना कागज के गिब्स सैंपलिंग है जो इस मामले को और अधिक गहराई तक ले जाता है। मैं इस पेपर से बहुत कम संशोधनों के साथ कुछ पंक्तियां लिख रहा हूं (यह उत्तर कुछ चीजों को दोहराता है जो ओपी पूर्णता के लिए जानता है)

MLE

औपचारिक रूप से MLE पसंद (मॉडल पैरामीटर का) का उत्पादन करता है जो कि देखे गए डेटा को उत्पन्न करने की सबसे अधिक संभावना है।

नक्शा

एक एमएपी अनुमानित विकल्प है जिसे सबसे अधिक संभावना है कि मनाया गया डेटा दिया गया है। MLE के विपरीत, MAP अनुमान बेयस नियम को लागू करता है, ताकि हमारा अनुमान पूर्व ज्ञान को ध्यान में रख सके कि हम अपने पैरामीटर को पूर्व संभाव्यता वितरण के रूप में क्या होने की उम्मीद करते हैं।

पकड़

MLE और MAP अनुमान दोनों हमें सबसे अच्छा अनुमान दे रहे हैं, "सर्वश्रेष्ठ" के उनके संबंधित डे nitions के अनुसार। लेकिन ध्यान दें कि किसी एकल अनुमान का उपयोग करना - चाहे वह MLE हो या MAP - जानकारी फेंकता है। सिद्धांत रूप में, पैरामीटर का कोई भी मान हो सकता है (डोमेन से); यदि हम पैरामीटर के लिए सिर्फ एक अनुमानित मूल्य के बजाय पूरे वितरण को ध्यान में रखते हुए बेहतर अनुमान नहीं लगा सकते हैं? यदि हम ऐसा करते हैं, तो हम पैरामीटर के बारे में सभी जानकारी का उपयोग कर रहे हैं जिसे हम देखे गए डेटा, एक्स से लिख सकते हैं।

इसलिए इस कैच के साथ, हम उनमें से किसी का भी उपयोग करना चाहते हैं। इसके अलावा, जैसा कि पहले ही सेम और टिम द्वारा उल्लेख किया गया है, अगर आपको उनमें से एक का उपयोग करना है, तो एमएपी का उपयोग करें यदि आपको पहले मिला था। यदि आपके पास पुजारी नहीं हैं, तो MAP MLE में कम हो जाता है। संयुग्म पुजारी विश्लेषणात्मक रूप से समस्या को हल करने में मदद करेंगे, अन्यथा गिब्स नमूनाकरण का उपयोग करें।

Answer 5

$$\begin{equation}\begin{aligned} \hat\theta^{MAP}&=\arg \max\limits_{\substack{\theta}} \log P(\theta|\mathcal{D})\\ &= \arg \max\limits_{\substack{\theta}} \log \frac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\\ &=\arg \max\limits_{\substack{\theta}} \log P(\mathcal{D}|\theta)P(\theta) \\ &=\arg \max\limits_{\substack{\theta}} \underbrace{\log P(\mathcal{D}|\theta)}_{\text{log-likelihood}}+ \underbrace{\log P(\theta)}_{\text{regularizer}} \end{aligned}\end{equation}$$

$\exp(-\frac{\lambda}{2}\theta^T\theta)$

Answer 6

यदि डेटा कम है और आपके पास उपलब्ध पुजारी हैं - "GO FOR MAP"। यदि आपके पास बहुत अधिक डेटा है, तो MAP MLE में कनवर्ट हो जाएगा। इस प्रकार बहुत से डेटा परिदृश्य के मामले में MAP के बजाय MLE करना हमेशा बेहतर होता है।

Comments

यह इतना आसान नहीं है।

— माइकल आर। चेर्निक

@MichaelChernick मैं गलत हो सकता हूं। मैं इसे ग्रेड स्कूल में पढ़ता हूं। मैं अनुरोध करता हूं कि आपने मुझे सही किया जहां मैं गलत था।

— हाइजेनबग

अक्सरवादी दृष्टिकोण और बायेसियन दृष्टिकोण दार्शनिक रूप से भिन्न होते हैं। आवृत्ति दृष्टिकोण दोहराया नमूनाकरण के आधार पर मॉडल मापदंडों के मूल्य का अनुमान लगाता है। बायेसियन दृष्टिकोण पैरामीटर को एक यादृच्छिक चर के रूप में मानता है। तो बायेसियन दृष्टिकोण में आप डेटा के साथ एक पूर्व वितरण के संयोजन के पैरामीटर के पीछे वितरण को प्राप्त करते हैं। MAP पोस्टीरियर डिस्ट्रीब्यूशन के उच्चतम शिखर की तलाश करता है जबकि MLE केवल डेटा की संभावना फ़ंक्शन को देखते हुए पैरामीटर का अनुमान लगाता है।

— माइकल आर। चेरिक

@MichaelChernick - आपके इनपुट के लिए धन्यवाद। लेकिन MAP एक MLE की तरह व्यवहार नहीं करता है, जब हमारे पास डेटा का डेटा होता है। यदि हम MAP अभिव्यक्ति को तोड़ते हैं तो हमें MLE शब्द भी मिलता है। डेटा की बड़ी मात्रा के साथ MAP में MLE शब्द पूर्व से अधिक होता है।

— हाइजेनबग

यह पूर्व और डेटा की मात्रा पर निर्भर करता है। वे बड़े नमूनों में समान परिणाम दे सकते हैं। अंतर व्याख्या में है। मेरी टिप्पणी यह ​​दिखाने के लिए थी कि यह उतना सरल नहीं है जितना आप इसे बनाते हैं। डेटा की एक छोटी राशि के साथ यह MAP को लेने की बात नहीं है अगर आपके पास पहले से है। पूर्व में खराब तरीके से चुने जाने से खराब पश्च वितरण और इसलिए खराब एमएपी हो सकता है।

— माइकल आर। चेरिक