मैंने कहीं पढ़ा है कि वेरिएशन बेयस पद्धति ईएम एल्गोरिदम का एक सामान्यीकरण है। दरअसल, एल्गोरिदम के पुनरावृत्त भाग बहुत समान हैं। यह जांचने के लिए कि क्या EM एल्गोरिथ्म वैरिएशनल बे का एक विशेष संस्करण है, मैंने निम्नलिखित की कोशिश की:
एक्स Θ पी ( एक्स , Θ | Y ) ≈ क्यू एक्स ( एक्स ) क्यू Θ ( Θ ) क्यू डेटा है, अव्यक्त चर का संग्रह है और पैरामीटर हैं। वैरिएशन बे में हम बनाते हैं कि एक अनुमान लगा सकते हैं जैसे कि । जहां s सरल, ट्रैक्टेबल वितरण हैं।
चूंकि EM एल्गोरिथ्म MAP बिंदु का अनुमान लगाता है, इसलिए मैंने सोचा कि यदि मैं किसी डेल्टा फ़ंक्शन का उपयोग करता हूं तो EM में परिवर्तित हो सकते हैं: । आम तौर पर EM में किए गए मापदंडों के लिए पहला अनुमान है।
जब दिया जाता है, जो KL Divergence को कम करता है वह सूत्र द्वारा पाया जाता है ऊपर दिया गया सूत्र से सरल हो जाता है, यह चरण कदम के बराबर हो जाता है। EM एल्गोरिथ्म का!
लेकिन मैं इस के निरंतरता के रूप में अधिकतमकरण कदम को प्राप्त नहीं कर सकता। अगले चरण में हमें गणना करने की आवश्यकता है और अनुसार पुनरावृत्ति नियम यह है:
क्या VB और EM एल्गोरिदम वास्तव में इस तरह से जुड़े हुए हैं? हम ईएम को वैरिएशन बे के विशेष मामले के रूप में कैसे प्राप्त कर सकते हैं, क्या मेरा दृष्टिकोण सही है?