Kullback-Leibler (KL) विचलन का अधिकतम मूल्य क्या है

15

मैं अपने अजगर कोड में केएल विचलन का उपयोग करने जा रहा हूं और मुझे यह ट्यूटोरियल मिला है ।

उस ट्यूटोरियल पर, केएल विचलन को लागू करना काफी सरल है।

kl = (model * np.log(model/actual)).sum()

जैसा कि मैं समझता हूं, की संभावना वितरण modelऔर actualहोना चाहिए <= 1।

मेरा सवाल है, k की अधिकतम सीमा / अधिकतम संभव मूल्य क्या है? मुझे अपने कोड में अधिकतम सीमा के लिए kl दूरी का अधिकतम संभव मान ज्ञात करना होगा।

machine-learning distance kullback-leibler

— user46543
स्रोत

यह डिटेल्स

— लर्नर झांग

19

या यहां तक कि एक ही समर्थन के साथ, जब एक वितरण में दूसरे की तुलना में बहुत अधिक मोटी पूंछ होती है। लो जब

K L (P | | Q) = \int p (x) \log (\frac{p (x)}{q (x)}) d x

$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$

तो

p (x) = \overset{Cauchy density}{\overset{⏞}{\frac{1}{π} \frac{1}{1 + x^{2}}}} q (x) = \overset{Normal density}{\overset{⏞}{\frac{1}{\sqrt{2 π}} \exp {- x^{2} / 2}}}

$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$

और

K L (P | | Q) = \int \frac{1}{π} \frac{1}{1 + x^{2}} \log p (x) d x + \int \frac{1}{π} \frac{1}{1 + x^{2}} [\log (2 π) / 2 + x^{2} / 2] d x

$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$

वहाँ अन्य दूरी है कि के रूप में ऐसी घिरा रहना मौजूद

\int \frac{1}{π} \frac{1}{1 + x^{2}} x^{2} / 2 d x = + \infty

$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$

दूरी, कुल भिन्नता दूरी के बराबर है, $L¹$
वासेरस्टीन दूरी
नरक की दूरी

— शीआन
स्रोत

1

बहुत अच्छी टिप्पणी @ शीआन

— कार्लोस कैंपोस

धन्यवाद @ शीआन इसका मतलब है, यहां तक कि दोनों वितरणों के लिए सभी डिब्बे का योग = 1 है, kl विचलन का कोई अधिकतम बंधन नहीं है? क्या आपके पास दो प्रायिकता वितरण के लिए कोई अन्य विकल्प दूरी समारोह है जिसने अधिकतम बाउंड / स्टैटिक बाउंड को परिभाषित किया है?

— user46543

क्या P इस मामले में Q के संबंध में पूरी तरह से निरंतर है?

— सांगवॉन्ग यून

कौनसे मामलेमें"? केएल को ऐसे वितरणों के रूप में परिभाषित नहीं किया गया है जो एक दूसरे के अनुसार बिल्कुल निरंतर नहीं हैं।

— शीआन

13

ऐसे वितरण जिनके पास समान समर्थन नहीं है, केएल विचलन के लिए बाध्य नहीं है। परिभाषा देखें:

K L (P | | Q) = \int_{- \infty}^{\infty} p (x) \ln (\frac{p (x)}{q (x)}) d x

$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$

यदि P और Q का समान समर्थन नहीं है, तो कुछ बिंदु जहाँ और , केएल अनंत तक जाता है। यह असतत वितरण के लिए भी लागू होता है, जो कि आपका मामला है। $x'$ $p(x') \neq 0$ $q(x') = 0$

संपादित करें: शायद संभाव्यता वितरण के बीच विचलन को मापने के लिए एक बेहतर विकल्प तथाकथित वासेरस्टीन दूरी होगी जो कि मीट्रिक है और केएल विचलन से बेहतर गुण हैं। यह डीप-लर्निंग में अपने अनुप्रयोगों के कारण काफी लोकप्रिय हो गया है (WGAN नेटवर्क देखें)

— कार्लोस कैंपोस
स्रोत

धन्यवाद @ carlos-campos मेरे वितरण में वास्तविक और मॉडल दोनों की एक ही स्थिति है जो सभी डिब्बे का योग है = 1. इसका मतलब है कि मेरी Kl विचलन अभी भी अधिकतम बाध्य नहीं है? मैं wassertein दूरी

— user46543

क्या वासेरस्टीन या अर्थ मूवर की दूरी एक स्पष्ट अधिकतम सीमा है? क्योंकि मुझे इसकी आवश्यकता है।

— user46543

@ user46543 वासेरस्टीन की दूरी जितनी अधिक हो सकती है

\infty

$\infty$

— मार्क एल। स्टोन

Hi @ MarkL.Stone इसलिए दो प्रायिकता वितरणों के बीच की दूरी की गणना के लिए कोई दूरी कार्य नहीं है जिसमें स्थैतिक अधिकतम सीमा है? उदाहरण के लिए, जबकि दो प्रायिकता वितरण में 1 का योग है और दूरी की अधिकतम सीमा 1. 1. क्या मैं सही हूं?

— user46543

4

कार्लोस और शीआन द्वारा उत्कृष्ट उत्तरों को जोड़ने के लिए , यह भी ध्यान रखना दिलचस्प है कि केएल विचलन के लिए परिमित होने के लिए एक पर्याप्त शर्त दोनों यादृच्छिक चर के लिए समान कॉम्पैक्ट समर्थन है, और संदर्भ घनत्व के लिए बाध्य होना चाहिए । यह परिणाम केएल विचलन (अधिकतम प्रमेय और नीचे प्रमाण देखें) के लिए एक अंतर्निहित बाध्यता भी स्थापित करता है।

प्रमेय: घनत्व तो और एक ही कॉम्पैक्ट समर्थन और घनत्व कि समर्थन घिरा हुआ है तो (यानी, ऊपरी बाध्य एक परिमित है) । $p$ $q$ $\mathscr{X}$ $p$ $KL(P||Q) < \infty$

प्रमाण: चूँकि पास कॉम्पैक्ट support इसका मतलब है कि कुछ सकारात्मक अनंत मूल्य है: $q$ $\mathscr{X}$

\underline{q} \equiv inf_{x \in X} q (x) > 0.

$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$

इसी तरह, चूंकि का कॉम्पैक्ट सपोर्ट इसका मतलब है कि कुछ सकारात्मक वर्चस्व मूल्य है: $p$ $\mathscr{X}$

\bar{p} \equiv sup_{x \in X} p (x) > 0.

$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$

इसके अलावा, चूंकि ये दोनों एक ही समर्थन पर घनत्व हैं, और उत्तरार्द्ध बाध्य है, हमारे पास । इस का मतलब है कि: $0 < \underline{q} \leqslant \bar{p} < \infty$

sup_{x \in X} \ln (\frac{p (x)}{q (x)}) ⩽ \ln (\bar{p}) - \ln (\underline{q}) .

$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$

अब, को बाद की ऊपरी सीमा दें, हमारे पास स्पष्ट रूप से है। उस: $\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$ $0 \leqslant \underline{L} < \infty$

\begin{aligned} K L (P | | Q) & = \int_{X} \ln (\frac{p (x)}{q (x)}) p (x) d x \\ ⩽ sup_{x \in X} \ln (\frac{p (x)}{q (x)}) \int_{X} p (x) d x \\ ⩽ (\ln (\bar{p}) - \ln (\underline{q})) \int_{X} p (x) d x \\ = \underline{L} < \infty . \end{aligned}

$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$

यह आवश्यक ऊपरी सीमा को स्थापित करता है, जो प्रमेय को साबित करता है। $\blacksquare$

— बेन - बहाल मोनिका
स्रोत

परिणाम सही है लेकिन भारी है: एक बीटा घनत्व कॉम्पैक्ट समर्थन का आनंद नहीं लेता है जब ।

B (α, β)

${\cal B}(\alpha,\beta)$

max (α, β) > 1

$\max(\alpha,\beta)>1$

— शीआन

यह सच है: यह केवल एक पर्याप्त स्थिति है। कमजोर पर्याप्त परिस्थितियों का स्वागत है!

— बेन - मोनिका