मोंटे कार्लो के साथ कुल्बैक लीब्लर (केएल) विचलन का अनुमान लगाएं

10

मैं दो निरंतर वितरण f और g के बीच केएल विचलन का अनुमान लगाना चाहता हूं। हालाँकि, मैं च या जी के लिए घनत्व नीचे नहीं लिख सकता। मैं च और जी दोनों से कुछ विधि के माध्यम से नमूना ले सकता हूं (उदाहरण के लिए, मार्कोव श्रृंखला मोंटे कार्लो)।

एफ से जी तक केएल विचलन को इस तरह परिभाषित किया गया है

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

यह की उम्मीद है च के संबंध में तो आप कुछ मोंटे कार्लो अनुमान की कल्पना कर सकते हैं $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

जहां मैं N नमूने को f ( i = 1, ..., N) के लिए f (यानी से तैयार किया गया है $x_i \sim f()$

हालाँकि, जब से मुझे f () और g () का पता नहीं है, मैं इस मोंटे कार्लो अनुमान का उपयोग भी नहीं कर सकता। इस स्थिति में केएल का आकलन करने का मानक तरीका क्या है?

संपादित करें: मैं च () या जी () के लिए असामान्य घनत्व नहीं जानता

kullback-leibler

— frelk
स्रोत

क्या आपने ecdfs का उपयोग करने पर विचार किया है?

— टॉबी

यह काम करेगा लेकिन यह च और जी (क्लोज़, या क्लोज़ टेल) के कठिन चुनाव के लिए मनमाने ढंग से धीमा हो सकता है। यदि आप नमूनों को पूंछ से दूर अनदेखा करने का निर्णय लेते हैं, तो आपके पास आरसी को ऊपरी बाउंडिंग के साथ अधिक भाग्य हो सकता है।

— ईसाई चैपमैन

अनिवार्य रूप से एक डुप्लिकेट: आंकड़े.stackexchange.com/questions/211175/…

— kjetil b halvorsen

7

मुझे लगता है कि आप मूल्यांकन कर सकते हैं $f$ तथा $g$ एक सामान्य स्थिरांक तक। निरूपित $f(x) = f_u(x)/c_f$ तथा $g(x) = g_u(x)/c_g$ ।

एक सुसंगत आकलनकर्ता जिसका उपयोग किया जा सकता है

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$ कहाँ पे

\begin{matrix} (1) & \hat{आर} = \frac{1 / n}{1 / n} \frac{\underset{जे}{Σ} च_{यू} ({एक्स}_{जे}) / π_{च} ({एक्स}_{जे})}{\underset{जे}{Σ} {जी}_{यू} (y_{जे}) / π_{जी} (y_{जे})} । \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$ अनुपात के लिए एक महत्वपूर्ण नमूना आकलनकर्ता है

c_{f} / c_{g}

$c_f/c_g$ । यहाँ आप उपयोग करते हैं

π_{f}

$\pi_f$ तथा

π_{g}

$\pi_g$ के लिए वाद्य घनत्व के रूप में

f_{u}

$f_u$ तथा

g_{u}

$g_u$ क्रमशः, और

π_{r}

$\pi_r$ अपसामान्य घनत्व के लॉग अनुपात को लक्षित करने के लिए।

तो चलो $\{x_i\} \sim \pi_f$ , $\{y_i\} \sim \pi_g$ , तथा $\{z_i\} \sim \pi_r$ । (1) के अंश में परिवर्तित होता है $c_f$ । भाजक में परिवर्तित होता है $c_g$ । अनुपात निरंतर मैपिंग प्रमेय द्वारा सुसंगत है। अनुपात का लॉग फिर से निरंतर मैपिंग द्वारा संगत है।

अनुमानक के अन्य भाग के बारे में,

\frac{1}{एन} Σ_{मैं}^{एन} [लॉग (\frac{च_{यू} (z_{मैं})}{{जी}_{यू} (z_{मैं})}) \frac{च_{यू} (z_{मैं})}{π_{आर} (z_{मैं})}] \overset{जैसा}{\to} {सी}_{च} इ [लॉग (\frac{च_{यू} (z_{मैं})}{{जी}_{यू} (z_{मैं})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$ बड़ी संख्या के कानून द्वारा।

मेरी प्रेरणा निम्नलिखित है:

\begin{aligned} {डी}_{क एल} (च | | जी) & = \int_{- \infty}^{\infty} च (एक्स) लॉग (\frac{च (एक्स)}{जी (एक्स)}) घ एक्स \\ = \int_{- \infty}^{\infty} च (एक्स) {लॉग [\frac{च_{यू} (एक्स)}{{जी}_{यू} (एक्स)}] + लॉग [\frac{{सी}_{जी}}{{सी}_{च}}]} घ एक्स \\ = इ_{च} [लॉग \frac{च_{यू} (एक्स)}{{जी}_{यू} (एक्स)}] + लॉग [\frac{{सी}_{जी}}{{सी}_{च}}] \\ = {सी}_{च}^{- 1} इ_{π_{आर}} [लॉग \frac{च_{यू} (एक्स)}{{जी}_{यू} (एक्स)} \frac{च_{यू} (एक्स)}{π_{आर} (एक्स)}] + लॉग [\frac{{सी}_{जी}}{{सी}_{च}}] । \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ इसलिए मैं इसे केवल ट्रैक्टेबल टुकड़ों में तोड़ता हूं।

संभावना अनुपात के अनुकरण के बारे में अधिक विचारों के लिए, मुझे एक पेपर मिला जिसमें कुछ है: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— टेलर
स्रोत

(+1) यह ध्यान देने योग्य है कि महत्व के नमूने में अत्यधिक उच्च विचरण (यहां तक कि अनंत विचरण) हो सकता है, यदि लक्ष्य वितरण में आपके द्वारा नमूना किए गए वितरण और / या आयामों की संख्या से बड़ी संख्या में गड़बड़ है।

— डेविड जे। हैरिस

@ डेविड जे.हरिस बहुत ही सच्चे

— टेलर

6

यहां मैं मानता हूं कि आप केवल मॉडलों से नमूना ले सकते हैं; एक असंसाधित घनत्व फ़ंक्शन उपलब्ध नहीं है।

आप वो लिखिए

{डी}_{क एल} (च | | जी) = \int_{- \infty}^{\infty} च (एक्स) लॉग (\underset{=: आर}{\underset{⏟}{\frac{च (एक्स)}{जी (एक्स)}}}) घ एक्स,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

जहां मैंने होने की संभावनाओं के अनुपात को परिभाषित किया है $r$ । एलेक्स स्मोला लिखते हैं, हालांकि एक अलग संदर्भ में कि आप केवल एक क्लासिफायरशिप प्रशिक्षण द्वारा इन अनुपातों का "आसानी से" अनुमान लगा सकते हैं। हमें मान लें कि आपने एक क्लासिफायरियर प्राप्त किया है $p(f|x)$ , जो आपको संभावना बता सकता है कि एक अवलोकन $x$ द्वारा उत्पन्न किया गया है $f$ । ध्यान दें कि $p(g|x) = 1 - p(f|x)$ । फिर:

आर = \frac{पी (एक्स | च)}{पी (एक्स | जी)} = \frac{पी (च | एक्स) पी (एक्स) पी (जी)}{पी (जी | एक्स) पी (एक्स) पी (च)} = \frac{पी (च | एक्स)}{पी (जी | एक्स)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

जहां पहला कदम बेयस के कारण है और अंतिम इस धारणा से है $p(g) = p(f)$ ।

इस तरह का क्लासिफायर करना दो कारणों से काफी आसान हो सकता है।

सबसे पहले, आप स्टोचस्टिक अपडेट कर सकते हैं। इसका मतलब है कि यदि आप एक ग्रेडिएंट-आधारित ऑप्टिमाइज़र का उपयोग कर रहे हैं, जैसा कि लॉजिस्टिक रिग्रेशन या न्यूरल नेटवर्क के लिए विशिष्ट है, तो आप बस प्रत्येक से एक नमूना बना सकते हैं $f$ तथा $g$ और एक अद्यतन करें।

दूसरा, जैसा कि आपके पास वस्तुतः असीमित डेटा है - आप सिर्फ नमूना कर सकते हैं $f$ तथा $g$ मौत के लिए - आप overfitting या इस तरह के बारे में चिंता करने की ज़रूरत नहीं है।

— bayerj
स्रोत

0

@Bayerj द्वारा उल्लिखित संभाव्य क्लासिफायरियर विधि के अलावा, आप केएल डाइवर्जेंस के निचले भाग का भी उपयोग कर सकते हैं जो कि व्युत्पन्न है [1-2]:

क एल [च ‖ जी] \geq \underset{टी}{सुड़कना} {इ_{एक्स ~ च} [टी (एक्स)] - इ_{एक्स ~ जी} [\exp (टी (एक्स) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ कहाँ पे

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$ एक मनमाना कार्य है। कुछ हल्की परिस्थितियों में, निम्न के लिए बाध्य है:

टी (एक्स) = 1 + \ln [\frac{च (एक्स)}{जी (एक्स)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

के बीच केएल विचलन का अनुमान लगाने के लिए $f$ तथा $g$ , हम फ़ंक्शन के निचले बाउंड राइट को अधिकतम करते हैं $T(x)$ ।

संदर्भ:

[१] गुयेन, एक्स।, वेनराइट, एमजे और जोर्डन, एमआई, २०१०। उत्तोलन के कार्य का अनुमान लगाने और उत्तल जोखिम को कम करने की संभावना अनुपात। सूचना सिद्धांत पर आईईईई लेनदेन, 56 (11), पीपी.5847-5861।

[२] नोवोज़िन, एस।, सेस्के, बी। और टॉमिओका, आर।, २०१६। एफ-गण: ट्रेनिंग डाइरेक्टिव न्यूरल सैंपलर्स का उपयोग करके वैरिएबल डाइवरेज मिनिमाइज़ेशन। तंत्रिका सूचना प्रसंस्करण प्रणालियों में अग्रिम (पीपी। 271-279)।

— चुओंग
स्रोत