अपेक्षा अधिकतमकरण एल्गोरिथ्म का उपयोग क्यों किया जाता है?

22

ईएम एल्गोरिथ्म को कम से कम मैं जानता हूं कि अधिकतम संभावना को खोजने के लिए उपयोग किया जा सकता है जब आंशिक डेरिवेटिव को शून्य करने की संभावना के मापदंडों के संबंध में समीकरणों का एक सेट देता है जो विश्लेषणात्मक रूप से हल नहीं किया जा सकता है। लेकिन क्या ईएम एल्गोरिदम को कुछ संख्यात्मक तकनीक का उपयोग करने के बजाय आवश्यक है कि उल्लिखित समीकरणों के कसना के संबंध में अधिकतम संभावना खोजने की कोशिश की जाए।

expectation-maximization

— user782220
स्रोत

20

सवाल वैध है और मुझे वही भ्रम था जब मैंने पहली बार ईएम एल्गोरिथ्म सीखा था।

सामान्य शब्दों में, EM एल्गोरिदम एक पुनरावृत्त प्रक्रिया को परिभाषित करता है जो उस मामले में पैरामीट्रिक मॉडल की संभावना फ़ंक्शन को अधिकतम करने की अनुमति देता है जिसमें मॉडल के कुछ चर (या माना जाता है) "अव्यक्त" या अज्ञात हैं।

सिद्धांत रूप में, एक ही उद्देश्य के लिए, आप सभी मापदंडों के लिए संभाव्यता फ़ंक्शन का अधिकतम पता लगाने के लिए एक न्यूनतम एल्गोरिथ्म का उपयोग कर सकते हैं। हालांकि वास्तविक स्थिति में यह न्यूनतमकरण होगा:

बहुत अधिक कम्प्यूटेशनल रूप से गहन
कम मजबूत

EM विधि का एक बहुत ही सामान्य अनुप्रयोग एक मिश्रण मॉडल को फिट कर रहा है। इस मामले में चर के प्रत्येक घटक को "अव्यक्त" चर के रूप में असाइन करने वाले चर पर विचार करने से समस्या बहुत सरल हो जाती है।

एक उदाहरण देखते हैं। हमारे पास 2 सामान्य वितरणों के मिश्रण से निकाले गए N नमूने । ईएम के बिना मापदंडों को खोजने के लिए हमें कम से कम होना चाहिए: $s = \{s_i\}$

- \log L (x, θ) = - \log [a_{1} \exp (\frac{(x - μ_{1})^{2}}{2 σ_{1}^{2}}) + a_{2} \exp (\frac{(x - μ_{2})^{2}}{2 σ_{2}^{2}})]

$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$

इसके विपरीत, EM एल्गोरिथ्म का उपयोग करते हुए, हम पहले प्रत्येक नमूने को एक घटक ( E चरण ) को "असाइन" करते हैं और फिर प्रत्येक घटक को अलग से ( M चरण ) फिट (या अधिकतम की संभावना ) करते हैं । इस उदाहरण में M-step केवल और को खोजने के लिए एक भारित । इन दो चरणों में परिवर्तन एक सरल और अधिक मजबूत तरीका है को कम करने के लिए । $\mu_k$ $\sigma_k$ $-\log \mathcal{L}(x,\theta)$

— user2304916
स्रोत

12

कुछ संख्यात्मक तकनीक का उपयोग करने के बजाय EM की आवश्यकता नहीं है क्योंकि EM एक संख्यात्मक विधि है। इसलिए यह न्यूटन-राफसन का विकल्प नहीं है। ईएम उस विशिष्ट मामले के लिए है जब आपके पास अपने डेटा मैट्रिक्स में मान न हों। एक नमूना पर विचार करें जिसकी सशर्त घनत्व । फिर इस की लॉग-लाइक अब मान लीजिए कि आपके पास पूरा डेटा सेट नहीं है, जैसे कि मनाया डेटा से बना है। और अनुपस्थित (या अव्यक्त) चर , जैसे कि । फिर मनाया डेटा के लिए लॉग-संभावना है $X = (X_{1},...,X_{n})$ $f_{X|\Theta}(x|\theta)$

एल (θ; एक्स) = एल ओ जी च_{एक्स | Θ} (एक्स | θ)

$l(\theta;X) = log f_{X|\Theta}(X|\theta)$

X

$X$

Y

$Y$

Z

$Z$

X = (Y, Z)

$X=(Y,Z)$

{एल}_{ओ ख रों} (θ, Y) = एल ओ जी \int च_{एक्स | Θ} (Y, z | θ) ν_{z} (घ z)

$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$ सामान्य तौर पर आप इस अभिन्न की गणना सीधे नहीं कर सकते हैं और आपको नहीं मिलेगी। लिए एक बंद-फ़ॉर्म समाधान । इस उद्देश्य के लिए आप EM विधि का उपयोग करते हैं। दो चरण हैं जो समय के लिए पुनरावृत्त होते हैं । इसमें चरण ये अपेक्षित कदम हैं जिसमें आप गणना करते हैं। जहां का अनुमान है कि चरण में का अनुमान लगाता । फिर अधिकतमकरण चरण की गणना करें जिसमें आप को अधिकतम करते हैं। to and to सेट के संबंध में

l_{o b s} (θ, Y)

$l_{obs}(\theta,Y)$

i

$i$

(i + 1)^{t h}

$(i + 1)^{th}$

क्यू (θ | θ^{(मैं)}) = ए_{θ^{(मैं)}} [एल (θ; एक्स | Y]

$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$

θ^{(i)}

$\theta^{(i)}$

Θ

$\Theta$

i^{t h}

$i^{th}$

Q (θ | θ^{(i)})

$Q(\theta|\theta^{(i)})$

θ

$\theta$

θ^{(i + 1)} = m a x Q (θ | θ^{i})

$\theta^{(i+1)} = max Q(\theta|\theta^{i})$ | आप तब इन चरणों को दोहराते हैं जब तक कि विधि कुछ मूल्य में परिवर्तित हो जाती है जो आपका अनुमान होगा।

यदि आपको विधि के बारे में अधिक जानकारी की आवश्यकता है, तो इसके गुण, प्रमाण या अनुप्रयोग सिर्फ इसी विकी लेख पर एक नज़र डालते हैं ।

— एंडी
स्रोत

1

+1 ... EM न केवल लापता मान मामले के लिए है, हालाँकि।

— Glen_b -Reinstate मोनिका

@Andy: यहां तक कि लापता डेटा के मामले को देखते हुए मुझे अभी भी समझ में नहीं आया है कि एक बिंदु खोजने के लिए जेनेरिक संख्यात्मक तरीकों का उपयोग करके आंशिक डेरिवेटिव शून्य क्यों नहीं हैं।

— user782220

धन्यवाद ग्लेन, मैं केवल इसे लापता मूल्यों / अव्यक्त चर के संदर्भ में जानता था। @ user782220: जब आपके पास लॉग लाइबिलिटी व्युत्पन्न का एक बंद फॉर्म समाधान नहीं हो सकता है, तो व्युत्पन्न को शून्य के बराबर सेट करने से आपके पैरामीटर की पहचान नहीं होगी। यही कारण है कि आप इस मामले में संख्यात्मक तरीकों का उपयोग करते हैं। एक स्पष्टीकरण और एक उदाहरण के लिए व्याख्यान यहाँ देखें: People.stat.sfu.ca/~raltman/stat402/402L5.pdf

— एंडी

1

EM का उपयोग इसलिए किया जाता है क्योंकि अक्सर उस मॉडल के मापदंडों की गणना करना असंभव या असंभव होता है जो उस मॉडल को दिए गए डेटासेट की संभावना को अधिकतम करता है।

— TheGrimmScientist
स्रोत