वैरिएबल बे और ईएम के बीच संबंध

मैंने कहीं पढ़ा है कि वेरिएशन बेयस पद्धति ईएम एल्गोरिदम का एक सामान्यीकरण है। दरअसल, एल्गोरिदम के पुनरावृत्त भाग बहुत समान हैं। यह जांचने के लिए कि क्या EM एल्गोरिथ्म वैरिएशनल बे का एक विशेष संस्करण है, मैंने निम्नलिखित की कोशिश की:

$Y$ डेटा है, अव्यक्त चर का संग्रह है और पैरामीटर हैं। वैरिएशन बे में हम बनाते हैं कि एक अनुमान लगा सकते हैं जैसे कि । जहां s सरल, ट्रैक्टेबल वितरण हैं। $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
चूंकि EM एल्गोरिथ्म MAP बिंदु का अनुमान लगाता है, इसलिए मैंने सोचा कि यदि मैं किसी डेल्टा फ़ंक्शन का उपयोग करता हूं तो EM में परिवर्तित हो सकते हैं: । आम तौर पर EM में किए गए मापदंडों के लिए पहला अनुमान है। $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
जब दिया जाता है, जो KL Divergence को कम करता है वह सूत्र द्वारा पाया जाता है ऊपर दिया गया सूत्र से सरल हो जाता है, यह चरण कदम के बराबर हो जाता है। EM एल्गोरिथ्म का! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

लेकिन मैं इस के निरंतरता के रूप में अधिकतमकरण कदम को प्राप्त नहीं कर सकता। अगले चरण में हमें गणना करने की आवश्यकता है और अनुसार पुनरावृत्ति नियम यह है: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

क्या VB और EM एल्गोरिदम वास्तव में इस तरह से जुड़े हुए हैं? हम ईएम को वैरिएशन बे के विशेष मामले के रूप में कैसे प्राप्त कर सकते हैं, क्या मेरा दृष्टिकोण सही है?

bayesian expectation-maximization variational-bayes

— उफुक कैन बिचीसि
स्रोत

आपने कहां पढ़ा कि EM एल्गोरिथ्म एक एमएपी अनुमान पाता है? नील एंड हिंटन (1998) द्वारा इस पत्र में प्रस्तुत ईएम के दृष्टिकोण को समझने के बाद, वैचारिक औचित्य और ईएम के बीच संबंध स्पष्ट हो जाएगा । मेरा जवाब भी यहां देखें ।

— लुकास

मुझे लगता है कि मैंने ईएम एल्गोरिथ्म को उसी तरह से सीखा जैसे यह पेपर बताता है, इसे कम बाध्य अधिकतमकरण समस्या के रूप में देखा जाता है। जेन्सेन की समानता और विविधताओं के कलन का उपयोग करते हुए, कोई पाता है कि अपेक्षा के चरण में, वह वितरण है जो लिए निम्न बाउंड को अधिकतम करता और अधिकतमकरण चरण में, एक पाता है , जो निचली सीमा पर अधिकतम है। तो, यह वैरिएशनल बे के समान है। (और यह एक स्थानीय अधिकतम सीमांत के रूप में परिवर्तित होता है, इसलिए एमएपी का अनुमान है)

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— उफुक कैन बिचकी जूल

क्षमायाचना, मैंने आपके प्रश्न को ध्यान से नहीं पढ़ा। मेरा मानना है कि गणना करने के लिए आपका अधिकतमकरण कदम केवल तभी मान्य है जब आप किसी भी वितरण की अनुमति देते हैं, अर्थात, यदि आप केवल कारक निर्धारण करते हैं। लेकिन आपने अतिरिक्त रूप से मान लिया है कि एक डेल्टा वितरण है। के पैरामीटर संबंध में स्पष्ट रूप से निचली सीमा को अधिकतम करने का प्रयास करें ।

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— लुकास

मैं प्रस्तुति के पृष्ठ 21 में पाया गया cs.cmu.edu/~tom/10-702/Zoubin-702.pdf ईएम और वीबी की तुलना दर्शाई गई है, इसी तरह डायक फ़ंक्शन का उपयोग करके। लेकिन ईएमबी को वीबी कैसे कम किया जाता है, यह नहीं बताया गया है।

— उफुक कैन बिस्किट

आपका दृष्टिकोण सही है। ईएम बाधा के तहत वीबी के बराबर है कि लिए अनुमानित पश्च बिंदु एक बिंदु द्रव्यमान होने के लिए विवश है। (यह पृष्ठ 337 पर प्रमाण के बिना उल्लेख किया है बायेसियन डेटा विश्लेषण ।) Let इस बिंदु द्रव्यमान का अज्ञात स्थान हो: निम्नलिखित KL-विचलन वीबी कम कर देंगे: $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

से अधिक कम से कम

ईएम की ई-कदम देता है, और अधिक कम से कम

ईएम की एम-कदम देता है।

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

बेशक, यदि आप वास्तव में केएल विचलन का मूल्यांकन कर रहे थे, तो यह अनंत होगा। लेकिन यह समस्या नहीं है यदि आप डेल्टा फ़ंक्शन को एक सीमा मानते हैं।

— टॉम मिंका
स्रोत

तकनीकी तौर पर, अधिकतम

wrt

एम कदम से मेल खाती है एमएपी-ईएम (पूर्व

)। - VBEM पेपर की धारा 3.1

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo यांग