मोंटे कार्लो के साथ संयुक्त रूप से भिन्नरूप

Question

मैं वैरिएबल बे पर पढ़ रहा हूं, और जैसा कि मैं इसे समझता हूं, यह इस विचार पर उतरता है कि आप अनुमानित हैं $p(z\mid x)$ (कहाँ पे $z$ आपके मॉडल के अव्यक्त चर हैं और $x$ एक समारोह के साथ मनाया डेटा) $q(z)$, धारणा है कि $q$ कारक के रूप में $q_i(z_i)$ कहाँ पे $z_i$अव्यक्त चर का एक सबसेट है। फिर यह दिखाया जा सकता है कि इष्टतम कारक$q_i(z_i)$ है:

$$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$$

जहाँ कोण कोष्ठक को छोड़कर सभी अव्यक्त चर पर अपेक्षा को निरूपित करते हैं $z_i$ वितरण के संबंध में $q(z)$।

अब, अनुमानित लक्ष्य मान का सटीक उत्तर देने के लिए, इस अभिव्यक्ति का आमतौर पर विश्लेषणात्मक मूल्यांकन किया जाता है। हालांकि, यह मेरे साथ हुआ, क्योंकि यह एक उम्मीद है, एक स्पष्ट दृष्टिकोण नमूना द्वारा इस उम्मीद को अनुमानित करना है। यह आपको एक अनुमानित लक्ष्य फ़ंक्शन का अनुमानित उत्तर देगा, लेकिन यह एक बहुत ही सरल एल्गोरिथ्म के लिए बनाता है, शायद उन मामलों के लिए जहां विश्लेषणात्मक दृष्टिकोण संभव नहीं है।

मेरा प्रश्न यह है कि क्या यह एक ज्ञात दृष्टिकोण है ? इसका कोई नाम है? क्या ऐसे कारण हैं कि यह इतनी अच्छी तरह से काम नहीं कर सकता है, या इस तरह के एक सरल एल्गोरिथ्म का उत्पादन नहीं कर सकता है?

Comments

मुझे लगता है कि बड़ी समस्या अनिश्चितता की समझ होगी जो वीबी सन्निकटन आम तौर पर पैदा करते हैं।

— probabilityislogic

Answer 1

मुझे लगता है कि यह एक ऐसा डोमेन नहीं है जिसे मैं अच्छी तरह से जानता हूं, इसलिए इसे नमक के दाने के साथ लें।

सबसे पहले, ध्यान दें कि आप जो प्रस्ताव कर रहे हैं वह इस तरह के एक सरल एल्गोरिथ्म का उत्पादन नहीं करता है: नए की गणना करने के लिए $q^\star_i$, हमें एक एकल अपेक्षित मान (जैसे माध्य या विचरण) की गणना करने की आवश्यकता नहीं है, लेकिन पूरे फ़ंक्शन का अपेक्षित मान। यह कम्प्यूटेशनल रूप से कठिन है और आपको सच्चे को अनुमानित करने की आवश्यकता होगी$q^\star$ कुछ के द्वारा $\tilde q$ (उदाहरण के लिए, हमें हिस्टोग्राम सन्निकटन मिल सकता है)

लेकिन, अगर आप को प्रतिबंधित करने जा रहे हैं $q_i$एक छोटे से पैरामीट्रिक परिवार के लिए, एक बेहतर विचार स्टोकेस्टिक ग्रेडिएंट वंश का उपयोग करने के लिए हो सकता है ताकि सबसे अच्छा पैरामीटर मान मिल सके (देखें: स्टोकेस्टिक खोज, 2012, पैस्ले, ब्लेई, जॉर्डन के साथ भिन्नता संबंधी बायेसियन इंजेक्शन)। वे जिस ढाल की गणना करते हैं वह आपके द्वारा लिखे गए बहुत समान है: वे सभी अनुमानों से नमूना लेते हैं जो वे वर्तमान में अनुकूलन नहीं कर रहे हैं।

तो आप जो प्रस्ताव देते हैं वह इतना आसान नहीं है, लेकिन यह एक वास्तविक विधि के काफी करीब है जिसे बहुत हाल ही में प्रस्तावित किया गया है