EM एल्गोरिथ्म अभ्यास समस्या

Question

यह एक मध्यावधि परीक्षा के लिए एक अभ्यास समस्या है। समस्या एक ईएम एल्गोरिथ्म उदाहरण है। मुझे भाग (एफ) से परेशानी हो रही है। मैं भागों (ए) को पूरा करने के लिए (ए) सूचीबद्ध करता हूं और मामले में मैंने पहले गलती की है।

चलो $X_1,\ldots,X_n$ दर के साथ स्वतंत्र घातीय यादृच्छिक चर हो $\theta$। दुर्भाग्य से, वास्तविक$X$ मान नहीं देखे गए हैं, और हम केवल यह देखते हैं कि क्या $X$मूल्य कुछ अंतराल के भीतर आते हैं। चलो$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$, $G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$, तथा $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$ के लिये $j=1,\ldots,n$। वे मनाया डेटा से मिलकर बनता है$(G_{1j},G_{2j},G_{3j})$।

(ए) मनाया डेटा संभावना दे:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) पूरा डेटा संभावना की तरह दें

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) अव्यक्त चर का पूर्वानुमेय घनत्व ज्ञात कीजिए $f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) ई-स्टेप। फंक्शन दें$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

कहाँ पे $N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) के लिए भाव दीजिए $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$ के लिये $r=1,2,3$।

मैं अपने परिणामों को सूचीबद्ध करूंगा जो मुझे पूरा यकीन है कि सही हैं, लेकिन व्युत्पन्न इस लंबे समय से पहले से ही सवाल के लिए थोड़ा लंबा होगा:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

यह वह हिस्सा है जिस पर मैं फंसा हुआ हूं, और यह पहले की गलती के कारण हो सकता है:

(च) एम-स्टेप। खोजो$\theta$ वह अधिकतम हो जाता है $Q(\theta,\theta^i)$

कुल अपेक्षा के कानून से हमारे पास है $\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$ की वजह

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

इसके बाद मुझे इसे शून्य के बराबर सेट करना चाहिए और हल करना चाहिए $\theta$, लेकिन मैंने बहुत लंबे समय से यह कोशिश की है और मैं इसका समाधान नहीं कर सकता $\theta$!

Comments

मैं व्याख्या कर रहा था $\theta^i$ की शक्ति के रूप में $\theta$एक पल के लिए। सबसे ज्यादा भ्रमित। आमतौर पर पुनरावृति संख्या (स्टेप नंबर) कोष्ठक में डाल दिया जाता है$[i]$ या कोष्ठक $(i)$ ताकि $\theta^{(i)}$ के साथ भ्रमित नहीं है $i$-तो शक्ति $\theta^{i}$। संभवतः कम से कम यह कहने के लिए सबसे अच्छा है कि यह सवाल में क्या है (यह मानते हुए कि मेरे पास अब यह सही है)।

— Glen_b -Reinstate मोनिका

हाँ ग्लेन, इस बारे में क्षमा करें, यह वास्तव में है $i$ईएम एल्गोरिथ्म के वें पुनरावृति।

— बाइडोनोविक

Answer 1

पूर्ण डेटा संभावना जी शामिल नहीं करना चाहिए! यह बस की संभावना होनी चाहिए$\theta$ जब $X$घातीय हैं। ध्यान दें कि आपके द्वारा लिखा गया पूरा डेटा संभावना केवल एक के बाद से एक घातीय संभावना को सरल करता है$G_{rj}$हो सकता है 1. छोड़ना $G$हालांकि, पूर्ण डेटा संभावना में, आपको बाद में गड़बड़ कर देता है।

भाग (डी) में पूर्ण डेटा लॉग संभावना की अपेक्षा की जानी चाहिए, न कि मनाया डेटा लॉग संभावना।

इसके अलावा, आपको कुल अपेक्षा के कानून का उपयोग नहीं करना चाहिए! याद रखें कि जी मनाया जाता है और यादृच्छिक नहीं है, इसलिए आपको केवल प्रत्येक के लिए उन सशर्त अपेक्षाओं में से एक प्रदर्शन करना चाहिए$X_j$। बस इस सशर्त अपेक्षा को शब्द द्वारा प्रतिस्थापित करें$X_j^{(i)}$ और फिर एम-स्टेप करें।

Comments

@ बैंजामिन समस्या के साथ कैसे आ रहा है? क्या मैं आपको यह समझने में मदद कर सकता हूं कि यह कैसे करना है?

— jsk

टिप्पणियों के लिए धन्यवाद @jsk। मैं कल रात थक गया था इसलिए मैं बिस्तर पर चला गया, लेकिन मैं आज सुबह नाश्ते के बाद फिर से निपट

— लूंगा

मुझे लगता है कि मैंने इसे समझ लिया है! फिर से धन्यवाद! यह वास्तव में एक फाइनल की तैयारी में था जो आज मेरे पास है, इसलिए इसने वास्तव में ईएम के बारे में कुछ चीजों को स्पष्ट करने में मदद की।

— बाइडोनोविक

आपका स्वागत है। आशा है कि आज आपका फाइनल अच्छा होगा!

— jsk

Answer 2

@ Jsk की टिप्पणियों के आधार पर मैं अपनी गलतियों को दूर करने का प्रयास करूंगा:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

के लिए हल $\theta$ हमें मिला $\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$