क्या MLE का हमेशा मतलब है कि हम अपने डेटा के अंतर्निहित पीडीएफ को जानते हैं, और क्या EM का अर्थ है कि हम नहीं?

मेरे कुछ सरल वैचारिक प्रश्न हैं, जिन्हें मैं MLE (अधिकतम संभावना अनुमान) के बारे में स्पष्ट करना चाहूंगा, और ईएम (एक्सपेक्टेशन मैक्सिमाइजेशन) से इसका क्या लिंक है, यदि कोई है।

जैसा कि मैं इसे समझता हूं, अगर कोई कहता है कि "हमने MLE का उपयोग किया है", क्या इसका मतलब यह है कि उनके पास अपने डेटा के पीडीएफ का एक स्पष्ट मॉडल है? यह मुझे लगता है कि इसका जवाब हां में है। एक और तरीका रखो, अगर किसी भी समय कोई "MLE" कहता है, तो उनसे यह पूछना उचित है कि वे क्या पीडीएफ मान रहे हैं। क्या यह सही होगा?

अंत में, ईएम पर, मेरी समझ यह है कि ईएम में, हम वास्तव में नहीं जानते हैं - या हमारे डेटा के अंतर्निहित पीडीएफ को जानने की जरूरत है। यह मेरी समझ है।

धन्यवाद।

estimation maximum-likelihood expectation-maximization

— Creatron
स्रोत

ईएम में "एम" का अर्थ है अधिकतमकरण ... संभावना की। संभावना लिखने के लिए हमें एक पीडीएफ की आवश्यकता है। ईएम कुछ अर्थों में 'अनॉब्सर्वबल्स' की उपस्थिति में MLE को खोजने का एक तरीका है (जो ई-स्टेप में भरे गए हैं)। यही है, ईएम का उपयोग करने के लिए आपको एक स्पष्ट मॉडल की आवश्यकता है।

— Glen_b -Reinstate मोनिका

@Glen_b धन्यवाद Gleb_b तो, 1) क्या यह कहना सही होगा, कि EM में, MLE के रूप में, हम हमेशा डेटा के PDF के कुछ मॉडल को मानते हैं "; मतलब अगर कोई कहता है कि" हमने MLE / EM का उपयोग किया है ", तो हम निष्पक्ष रूप से पूछ सकते हैं," क्या PDFs ने आपको मान लिया "" क्या यह एक सही मूल्यांकन होगा? 2) अंत में, EM के संबंध में, मेरा मानना है कि आपके द्वारा बताए जा रहे unobservables मिश्रण को सही बनाने वाले विशेष PDF की संभावनाएं हैं, सही? अग्रिम धन्यवाद?

— Creatron

ध्यान दें कि गैर पैरामीट्रिक अधिकतम संभावना तरीके हैं। ऊपर देखो कपलान-मीयर।

— सोखले

क्रिएट्रॉन - (1) ध्यान दें कि EM MLE की गणना के लिए एक एल्गोरिथ्म है जो अन्यथा से निपटना मुश्किल होगा। या तो मामले में, मैं थोड़ा और सामान्य सवाल पूछूंगा कि 'आपका मॉडल क्या था?', क्योंकि यह संभव है कि मॉडल किसी भी पीडीएफ से अधिक जटिल हो। ऑन (2) ईएम एल्गोरिदम केवल मिश्रण पर लागू नहीं होता है; यह उससे अधिक सामान्य है।

— Glen_b -Reinstate मोनिका

जवाबों:

MLE विधि उन मामलों में लागू की जा सकती है जहां कोई व्यक्ति पीडीएफ के मूल कार्यात्मक रूप को जानता है (उदाहरण के लिए, यह गाऊसी, या लॉग-सामान्य, या घातांक, या जो भी हो), लेकिन अंतर्निहित पैरामीटर नहीं; उदाहरण के लिए, वे पीडीएफ में और के मूल्यों को नहीं जानते हैं : या जो भी अन्य प्रकार के पीडीएफ वे मान रहे हैं। MLE विधि का काम अज्ञात मापदंडों के लिए सबसे अच्छा (यानी, सबसे प्रशंसनीय) मूल्यों को चुनना है, विशेष डेटा माप जो वास्तव में देखे गए थे। । तो अपने पहले सवाल का जवाब देने के लिए, हाँ, आप हमेशा किसी से क्या पूछना चाहते हैं, आपके अधिकार में हैं $\mu$ $\sigma$

च (एक्स | μ, σ) = \frac{1}{\sqrt{2 π σ^{2}}} \exp [\frac{- (एक्स - μ)^{2}}{2 σ^{2}}]

$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$ पीडीएफ के रूप में वे अपने अधिकतम संभावना अनुमान के लिए मान रहे हैं; वास्तव में, अनुमानित पैरामीटर मान जो वे बताते हैं कि वे तब तक सार्थक नहीं हैं जब तक कि वे पहली बार उस संदर्भ को संवाद नहीं करते हैं।

ईएम एल्गोरिथ्म, जैसा कि मैंने देखा है कि यह अतीत में लागू किया गया है, एक तरह का मेटा एल्गोरिथ्म है, जहां कुछ मेटाडेटा गायब है, और आपको यह भी अनुमान लगाना होगा। इसलिए, उदाहरण के लिए, शायद मेरे पास एक पीडीएफ है जो कई गौसियों का मिश्रण है, जैसे: सतही तौर पर, सिवाय आयाम पैरामीटर , यह पिछली समस्या की तरह बहुत कुछ दिखता है, लेकिन क्या होगा अगर मैंने आपको बताया कि हम भी के मूल्य को नहीं जानते हैं (यानी, गौसियन मिश्रण में मोड की संख्या) और हम अनुमान लगाना चाहते हैं कि डेटा माप से

च (एक्स | ए_{1}, । । ।, ए_{एन}, μ_{1}, । । ।, μ_{एन}, σ_{1}, । । । σ_{एन}) = Σ_{क = 1}^{एन} \frac{ए_{क}}{\sqrt{2 π σ_{क}^{2}}} \exp [\frac{- (एक्स - μ_{क})^{2}}{2 σ_{क}^{2}}]

$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$

A_{k}

$A_{k}$

N

$N$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$ भी?

इस मामले में, आपके पास एक समस्या है, क्योंकि प्रत्येक संभावित मूल्य (यह "मेटा" हिस्सा है जिसे मैं ऊपर से बता रहा था) वास्तव में कुछ अर्थों में एक अलग मॉडल उत्पन्न करता है। यदि , तो आपके पास तीन मापदंडों ( , , ) के साथ एक मॉडल है, जबकि यदि , तो आपके पास छह पैरामीटर ( मॉडल हैं , , , , , )। आपके लिए सबसे अच्छा फिट मान ( , , ) $N$ $N=1$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=2$ $A_{1}$ $A_{2}$ $\mu_{1}$ $\mu_{2}$ $\sigma_{1}$ $\sigma_{2}$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=1$ मॉडल की तुलना सीधे उन सर्वोत्तम फिट मानों से नहीं की जा सकती है जो आप मॉडल में उन्हीं मापदंडों के लिए प्राप्त करते हैं , क्योंकि वे अलग-अलग मॉडल हैं जिनमें अलग-अलग संख्या में स्वतंत्रता होती है । $N=2$

ईएम एल्गोरिदम की भूमिका उन प्रकार की तुलना करने के लिए एक तंत्र प्रदान करना है (आमतौर पर "जटिलता जुर्माना" जो छोटे मूल्यों को ) ताकि हम लिए सर्वोत्तम समग्र मूल्य चुन सकें । $N$ $N$

इसलिए, आपके मूल प्रश्न का उत्तर देने के लिए, EM एल्गोरिथ्म को पीडीएफ के रूप में कम सटीक विनिर्देश की आवश्यकता होती है; कोई कह सकता है कि यह वैकल्पिक विकल्पों की एक श्रेणी पर विचार करता है (उदाहरण के लिए, विकल्प जहाँ , , , आदि) लेकिन फिर भी आपको उन विकल्पों के मूल गणितीय रूप के बारे में कुछ निर्दिष्ट करना होगा - आपको अभी भी कुछ अर्थों में, संभव पीडीएफ़ के "परिवार" को निर्दिष्ट करना है, भले ही आप एल्गोरिथ्म को आपके लिए निर्णय लेने दे रहे हैं कि परिवार का कौन सा "सदस्य" डेटा को सबसे अच्छा फिट प्रदान करता है। $N=1$ $N=2$ $N=3$

— stachyra
स्रोत

कुछ लोग आपके उत्कृष्ट उत्तर @stachyra पर अनुसरण करते हैं : (1): दूसरा समीकरण (संक्षेप के साथ) - क्या यह आपके मिश्रण का पीडीएफ है? (इसका अर्थ है कि ?) (2): यहां उल्लिखित EM एल्गोरिदम के संबंध में - थोड़ा उलझन में है - शुरुआत में EM को इनपुट के रूप में दिया गया मान , या यह कुछ ऐसा है जो EM थूक देगा अंत में एक आउटपुट के रूप में?

\sum A_{k} = 1

$\sum A_k = 1$

N

$N$

— क्रिएट्रॉन

(3) EM के लिए, जब आप कहते हैं कि EM के लिए "संभावित PDF का परिवार निर्दिष्ट करें", तो क्या इसका मतलब है कि हम इसे "संभावनाओं" के साथ काम करने के लिए देते हैं, उदाहरण के लिए, "यह डेटा दो गॉसियन और एक पॉइज़न से बना है। ", या" यह डेटा 3 chi-squared PDFs और 1 gaussian "इत्यादि से बना है! यह भ्रामक है क्योंकि इसका मतलब है कि हम निर्दिष्ट करते हैं , जो मैं इसे आपके पोस्ट से लेता हूं, कुछ ऐसा है जो EM हमें देता है ...

N

$N$

— Creatron

1) हां, यह मेरे मिश्रण का pdf है, और हां, । 2) व्यवहार में, आप आमतौर पर विचार करने के लिए एल्गोरिथ्म के लिए का एक न्यूनतम / अधिकतम मूल्य देते हैं , और यह सबसे अच्छा खोजने के लिए सभी अनुमत मूल्यों से गुजरता है। 3) ज्यादातर मामलों में, आप जिन विभिन्न संभावनाओं के बीच चयन करने की कोशिश कर रहे हैं, वे के अलग-अलग संभावित मान हैं ; उदाहरण के लिए, " एक अच्छा फिट देता है, लेकिन और भी बेहतर है"। यदि आप उन विकल्पों पर विचार करना चाहते हैं जिनमें कार्यात्मक रूपों का अधिक विषम संग्रह शामिल है, सिद्धांत रूप में यह संभव भी है, लेकिन व्यवहार में लागू करने के लिए मुश्किल।

\sum A_{k} = 1

$\sum A_{k} = 1$

N

$N$

N

$N$

N = 4

$N=4$

N = 5

$N=5$

— stachyra

साभार स्टैच्यू अंतिम प्रश्न, पीडीएफ डेटा आउट (पीडीएफ के भारित योग से बने आपके दूसरे समीकरण में दिया गया), हमारे डेटा के सभी नमूनों के संयुक्त पीडीएफ के समान नहीं है , जो उनके पीडीएफ का एक उत्पाद है, सही ? (मान लें कि डेटा नमूने IID हैं)।

— क्रिएट्रॉन

नहीं, बिल्कुल नहीं - वे दो पूरी तरह से अलग चीजें हैं। संयुक्त PDF जो आप बता रहे हैं, वह MLE में प्रयुक्त होने वाले फ़ंक्शन के रूप के समान है। एक पाठ्यपुस्तक आपके लिए यहाँ उपयोगी हो सकती है। MLE के लिए, मुझे फिलिप आर। बेविंगटन और डी। कीथ रॉबिन्सन द्वारा "डेटा न्यूनीकरण और भौतिक विज्ञान के लिए त्रुटि विश्लेषण" के अध्याय 10 या ग्लेन कोवान द्वारा "सांख्यिकीय डेटा विश्लेषण" के अनुभाग 6.1 पसंद है। एक विशेष प्रकार के EM कार्यान्वयन कैसे करें, इसके विशिष्ट उदाहरण के लिए, मुझे यह स्पष्टीकरण पसंद है, खंड 2 से 5।

— stachyra

MLE को कम से कम सीमांत वितरण के ज्ञान की आवश्यकता है। MLE का उपयोग करते समय, हम आम तौर पर एक iid धारणा बनाकर एक संयुक्त वितरण के मापदंडों का अनुमान लगाते हैं, फिर मार्जिन के उत्पाद के रूप में संयुक्त वितरण को फैक्टरिंग करते हैं, जिसे हम जानते हैं। विविधताएं हैं, लेकिन ज्यादातर मामलों में यही विचार है। तो MLE एक पैरामीट्रिक विधि है।

EM एल्गोरिथ्म एक संभावित विधि है जो MLE एल्गोरिथ्म के भाग के रूप में सामने आती है। यह अक्सर (आमतौर पर?) संख्यात्मक समाधान के लिए उपयोग किया जाता है।

जब भी हम MLE का उपयोग करते हैं, तो हमें कम से कम सीमांत वितरण की आवश्यकता होती है, और कुछ इस बारे में धारणा होती है कि संयुक्त कैसे मार्जिनल (स्वतंत्रता, आदि) से संबंधित है। इसलिए दोनों विधियां वितरण के ज्ञान पर निर्भर करती हैं।

— चार्ल्स पहलवानी
स्रोत

धन्यवाद @Charles जो समझ में आता है। इसका क्या मतलब है जब लोग "गैर पैरामीट्रिक एमएलई" के बारे में बात करते हैं। यह वाक्यांश पहली नज़र में समझ में नहीं आता है। MLE हमेशा वितरण के एक पैरामीटर का अनुमान लगाता है , है ना?

— क्रिएचरन

वे ELE (अनुभवजन्य संभावना अनुमान) के बारे में बात कर सकते हैं। मैंने कभी इसका उपयोग नहीं किया है; यदि आवश्यक हो तो समझाने की कोशिश करूंगा। वरना मुझे यकीन नहीं है।

— चार्ल्स पेहलिवनियन