भिन्नता संबंधी आविष्कार, केएल विचलन के लिए सच्चे आवश्यकता होती है

मेरे (बहुत मामूली) के लिए एक अनुमान लगाने के लिए, परिवर्तन संबंधी अनुमान की समझ में एक की कोशिश करता अज्ञात वितरण एक वितरण का पता लगाकर निम्न का अनुकूलन: $p$ $q$

K L (p | | q) = \sum_{x} p (x) l o g \frac{p (x)}{q (x)}

$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$

जब भी मैं परिवर्तनशील अनुमान को समझने में समय लगाता हूं तो मैं इस सूत्र को मारता रहता हूं और मदद नहीं कर पाता, लेकिन ऐसा महसूस करता हूं कि मुझे बात याद आ रही है। ऐसा लगता है जैसे मुझे गणना करने के लिए जानना आवश्यक है । लेकिन पूरे बिंदु मैं इस वितरण पता नहीं था । $p$ $KL(p||q)$ $p$

यह सटीक बिंदु है जो मुझे हर बार जब मैं कुछ वैरिएबल पढ़ने की कोशिश कर रहा होता है, तो मुझे बुरा लगता है। मुझे किसकी याद आ रही है?

संपादित करें :

मैं @wij के उत्तर के परिणामस्वरूप यहां कुछ अतिरिक्त टिप्पणियां जोड़ूंगा, मैं और अधिक सटीक होने का प्रयास करूंगा।

जिन मामलों में मेरी दिलचस्पी है, उन पर विचार करना वास्तव में पूरी तरह से उचित लगता है;

p (θ | D) = \frac{p (D | θ) p (θ)}{p (D)} \propto p (D | θ) p (θ)

$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$

इस स्थिति में मुझे पता चल सकता है कि को आनुपातिक रूप से कैसा दिखना चाहिए क्योंकि मैंने और लिए एक मॉडल विकल्प बनाया होगा । क्या मैं तब यह कहने में सही हो जाऊंगा कि मुझे फिर एक पारिवारिक वितरण लेने की आवश्यकता है [गॉसियन कहने देता है] जैसे कि अब मैं अनुमान लगा सकता हूं ।ऐसा महसूस होता है कि इस मामले में मैं एक गैर-सामान्यीकृत करीब होने की कोशिश कर रहा हूं । क्या ये सही है? $p$ $p(D|\theta)$ $p(\theta)$ $q$ $KL(p(\theta|D) || q)$ $p(D|\theta)p(\theta)$

यदि ऐसा है, तो ऐसा लगता है कि मैं मान रहा हूं कि मेरा पीछे का हिस्सा एक सामान्य वितरण है और मैं केवल विचलन के संबंध में इस वितरण के लिए संभावित मूल्यों को खोजने की कोशिश करता हूं । $KL$

variational-bayes

— विन्सेंट वार्मडम
स्रोत

मुझे लगता है कि आप को पूरी तरह से अज्ञात वस्तु मानते हैं । मुझे नहीं लगता कि यह मामला है। यह शायद आपने याद किया। $p$

मान लें कि हम (iid) का निरीक्षण करते हैं और हम का अनुमान चाहते हैं, जहां हम मान लेते हैं कि लिए और मॉडल द्वारा निर्दिष्ट किए गए हैं। बायस नियम से, $Y = \{y_i\}_{i=1}^n$ $p(x|Y)$ $p(y|x)$ $p(x)$ $x\in\mathbb{R}^d$

p (x | Y) = \frac{p (x)}{p (Y)} p (Y | x) = \frac{p (x)}{p (Y)} \prod_{i = 1}^{n} p (y_{i} | x) .

$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$

पहला अवलोकन यह है कि हम पश्च वितरण बारे में कुछ जानते हैं । यह ऊपर दिया गया है। आमतौर पर, हम सिर्फ इसके नॉर्मलाइज़र नहीं जानते हैं । यदि संभावना बहुत जटिल है, तो हम कुछ जटिल वितरण समाप्त करते हैं । $p(x|Y)$ $p(Y)$ $p(y|x)$ $p(x|Y)$

दूसरी बात जो कि वैधानिक आक्षेप करना संभव बनाती है, वह यह है कि इस रूप में एक बाधा है कि ले सकता है। बिना किसी अड़चन के, होगा जो आमतौर पर होता है । आमतौर पर, को घातीय परिवार के चुने हुए सबसेट में रहना माना जाता है। उदाहरण के लिए, यह पूरी तरह से कारक गौसियन वितरणों का परिवार हो सकता है अर्थात, । यह पता चला है कि यदि यह आपका बाधा सेट है, तो प्रत्येक घटक द्वारा दिया गया है $q$ $\arg \min_q KL(p||q)$ $p$ $q$ $q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$ $q$

q_{i} \propto \exp (E_{\prod_{j \neq i} q_{j}} \log p (x, Y)),

$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$

जहाँसटीक सूत्र ज्यादा मायने नहीं रखता है। बिंदु यह है कि अनुमानित वास्तविक के ज्ञान पर निर्भर होकर पाया जा सकता है , और उस रूप पर अनुमान जो अनुमानित को लेना चाहिए। $p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$ $q$ $p$ $q$

अपडेट करें

निम्नलिखित प्रश्न में अद्यतन किए गए भाग का उत्तर देना है। मुझे बस एहसास हुआ कि मैं बारे में सोच रहा हूं । मैं हमेशा सही मात्रा के लिए उपयोग करेगा , और लगभग एक के लिए । वैरिएबल इंट्रेंस या वैरिएबल बेयस में, द्वारा दिया जाता है $KL(q||p(x|Y))$ $p$ $q$ $q$

q = \arg min_{q \in Q} K L (q | | p (x | Y)) .

$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$

ऊपर के रूप में बाधा सेट साथ, समाधान पहले दिया गया है। अब अगर आप सोच रहे हैं $\mathcal{Q}$

q = \arg min_{q \in Q} K L (p (x | Y) | | q),

$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$

for को घातीय परिवार का सबसेट माना जाता है , फिर इस अनुमान को प्रत्याशा प्रसार (EP) कहा जाता है । इस मामले में का हल एक ऐसा है कि इसका क्षण मेल खाता है । $\mathcal{Q}$ $q$ $p(x|Y)$

किसी भी तरह से, आप यह कहने में सही हैं कि अनिवार्य रूप से आप कुछ फार्म लेने के लिए विवश किए गए वितरण द्वारा केएल अर्थ में सही पीछे वितरण को अनुमानित करने की कोशिश करते हैं । $q$

— Wij
स्रोत

मैं इसके साथ बहस नहीं कर सकता। मुझे लगता है कि इस पर मेरी खुद की चमक सहित अधिकांश स्पष्टीकरण हैं।

— पाडर कोयल