दो बहुभिन्नरूपी गाऊसी के बीच केएल विचलन

मुझे केएल विचलन सूत्र को प्राप्त करने में दो बहुभिन्नरूपी सामान्य वितरण मानने में परेशानी हो रही है। मैं univariate मामला काफी आसानी से किया है। हालाँकि, मुझे गणित के आँकड़े लेते हुए काफी समय हो गया है, इसलिए मुझे इसे मल्टीवेरेट करने के मामले में कुछ परेशानी हो रही है। मुझे यकीन है कि मैं बस कुछ आसान याद कर रहा हूँ।

यहाँ मैं क्या है ...

मान लीजिए कि और दोनों और और variances और साथ सामान्य वितरण के pdfs हैं। कुल्ब-लीब्लर से दूरी है: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , जो दो बहुभिन्नरूपी मानदंडों के लिए है:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

इस प्रमाण के समान तर्क के बाद , मैं फंसने से पहले यहाँ के बारे में बताता हूँ:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

मुझे लगता है कि मुझे ट्रेस ट्रिक को लागू करना है , लेकिन मुझे यकीन नहीं है कि उसके बाद क्या करना है। किसी भी उपयोगी संकेत मुझे सही रास्ते पर वापस लाने के लिए सराहना की जाएगी!

normal-distribution kullback-leibler proof

— dmartin
स्रोत

stanford.edu/~jduchi/projects/general_notes.pdf । अंतिम खंड भी व्युत्पत्ति देता है।

— user3540823

जहां से आप कुछ मामूली सुधारों के साथ शुरू करते हैं, हम लिख सकते हैं

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

ध्यान दें कि मैंने मैट्रिक्स कुकबुक की धारा 8.2 से कुछ गुणों का उपयोग किया है ।

— ramhiser
स्रोत

मैं देख रहा हूं कि आपने मूल रूप से डी को निकाल लिया था। पहले कुछ चरणों में गौसियन का लॉग लेने के बाद क्या आपके पास एक डी शब्द नहीं होगा?

— dmartin

स्केलिंग फैक्टर , का बहुभिन्नरूपी सामान्य घनत्व पर विचार करें। लॉग-डिफरेंस की गणना करते समय, शब्द चला जाता है। निर्धारकों के लिए कोई शब्द नहीं है - बस, एक , जो बाहर फैक्टरेड है।

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— ramhiser

बिल्कुल भी परेशानी नहीं है। मैं खुशी से मदद कर सकता है।

— रामसिंह

नमस्ते, आप अंतिम चरण के साथ कैसे आए? आपने में कैसे ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— एसिडघोस्ट

@acidghost या तो एक काम करता है क्योंकि हम दोनों पक्षों से एक नकारात्मक कारक निकाल सकते हैं। दो नकारात्मक लोगों को गुणा करने से एक सकारात्मक पैदावार होती है।

— ramhiser