उम्मीद अधिकतमकरण क्लेरीफिकेशन

मुझे EM एल्गोरिथ्म के बारे में बहुत उपयोगी ट्यूटोरियल मिला ।

ट्यूटोरियल से उदाहरण और चित्र बस शानदार है।

यहाँ छवि विवरण दर्ज करें

संभावनाओं की गणना के बारे में संबंधित प्रश्न उम्मीद अधिकतमकरण कैसे काम करता है?

मेरे पास एक और सवाल है कि ट्यूटोरियल में वर्णित सिद्धांत को उदाहरण से कैसे जोड़ा जाए।

ई चरण के दौरान, ईएम एक समारोह चुनता कि कम सीमा हर जगह, और जिसके लिए । $g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

तो हमारे उदाहरण में क्या है , और ऐसा लगता है कि यह प्रत्येक पुनरावृत्ति के लिए अलग होना चाहिए। $g_t$

इसके अलावा, उदाहरण में और फिर उन्हें उस डेटा पर लागू करने से जो हमें प्राप्त होता है वो और । जो मेरे लिए है वह काउंटर सहज दिखता है। हमारे पास कुछ पूर्व धारणाएं थीं, इसे डेटा पर लागू किया और नई धारणाएं प्राप्त कीं, इसलिए डेटा ने किसी तरह मान्यताओं को बदल दिया। मुझे समझ में नहीं आता कि क्यों बराबर नहीं है । $\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

इसके अलावा, इस ट्यूटोरियल में पूरक नोट 1 को देखने पर अधिक प्रश्न उभरते हैं । उदाहरण के लिए हमारे मामले में क्या है । यह स्पष्ट नहीं है कि कारण विषमता तंग क्यों है $Q(z)$ $Q(z)=P(z|x;\Theta)$

धन्यवाद।

— user16168
स्रोत

मैंने इन नोटों को यह पता लगाने में बहुत मददगार पाया कि पूरक सामग्री में क्या चल रहा था।

मैं इन सवालों के निरंतरता के लिए आदेश से थोड़ा बाहर का जवाब दूँगा।

पहला: ऐसा क्यों है

$\theta^{(0)} \ne \theta^{(1)}$

कारण यह है कि हमारे फंक्शन को इस तरह चुना जाता है कि यह हमारे शुरुआती अनुमान the के बिंदु पर 2 होने की घटना के साथ, कम से कम या बराबर होने की गारंटी है । यदि हमारी पूर्व धारणाएँ सही प्रारंभिक अनुमान थीं तो आप सही होंगे और अपरिवर्तित रहेंगे। लेकिन हम बनाए गए फ़ंक्शन में उच्च मान पा सकते हैं , इसलिए the लिए पैरामीटर का हमारा अगला पुनरावृत्ति हमारे मूल से अधिक होने की गारंटी है। $g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

दूसरा: असमानता तंग क्यों है जब

Q (z) = P (z | x; θ)

$Q(z) = P(z|x;\theta)$

इस बारे में फुटनोट्स में एक संकेत है जहां यह कहता है,

समानता रखती है अगर और केवल अगर यादृच्छिक चर संभावना 1 के साथ स्थिर है (यानी, ) $y=E[y]$

जिसका अर्थ है कि के बारे में हमारी पसंद बनाता है निरंतर। इसे देखने के लिए, इस पर विचार करें: $Q$ $\frac{P(x, z; \theta)}{Q(z)}$

P (x, z; θ) = P (z | x; θ) P (x; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

जो हमारा अंश बनाता है

\frac{P (z | x; θ) P (x; θ)}{P (z | x; θ)} = P (x; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

तो क्या है और क्या यह स्थिर है? खैर, विचार करें कि हम से अधिक रकम की गणना कर रहे हैं जिसके लिए यह शब्द स्वतंत्र (स्थिर) है। आइए इसे रूप में और यह समीकरण बन जाता है: $P(x; \theta)$ $z$ $C$

\log (\sum_{z} Q (z) C) \geq \sum_{z} Q (z) \log (C)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

यहाँ से हम बहुत जल्दी देख सकते हैं कि 2 भुजाएँ समान हैं, जैसे कि एक स्थिरांक की अपेक्षा यह होगी कि निरंतर कोई भी भार ( ) $Q(z)$

अंत में: क्या है $g_t$

मेरे द्वारा लिंक किए गए नोट्स में दिए गए उत्तर पूरक नोटों में से एक से थोड़ा अलग है, लेकिन वे केवल एक निरंतरता से भिन्न होते हैं और हम इसे अधिकतम कर रहे हैं इसलिए यह परिणाम का नहीं है। नोटों में एक (व्युत्पत्ति के साथ) है:

g_{t} (θ) = \log (P (x | θ^{(t)})) + \sum_{z} P (z | x; θ^{(t)}) \log (\frac{P (x | z; θ) P (z | θ)}{P (z | x; θ^{(t)}) P (x | θ^{(t)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

पूरक नोटों में इस जटिल सूत्र की लंबाई के बारे में बात नहीं की गई है, शायद इसलिए कि इनमें से बहुत सारे शब्द ऐसे स्थिरांक होंगे जो अधिकतम होने पर दूर फेंक दिए जाते हैं। यदि आप इस बात में रुचि रखते हैं कि हम यहां पहले स्थान पर कैसे पहुंचे, तो मैं उन नोट्स को सुझाता हूं जिन्हें मैंने लिंक किया था।

दूसरे प्रश्न के उत्तर में किए गए एक समान तर्क का उपयोग करते हुए, लॉग में शब्द लिए 1 के बराबर है, इसलिए योग शब्द दूर हो जाता है और अपेक्षा के अनुसार। $g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— माइक
स्रोत