क्या असतत और निरंतर वितरण के बीच केएल विचलन लागू करना संभव है?

Question

मैं गणितज्ञ नहीं हूं। मैंने केएल डायवर्जेंस के बारे में इंटरनेट पर खोज की है। जब मैंने सीखा कि केएल डाइवर्जेंस खो गई जानकारी को मापता है जब हम इनपुट वितरण के संबंध में एक मॉडल के वितरण को अनुमानित करते हैं। मैंने इन्हें किन्हीं दो सतत या असतत वितरणों के बीच देखा है। क्या हम इसे निरंतर और असतत या इसके विपरीत कर सकते हैं?

Comments

संबंधित: आंकड़े.स्टैकएक्सचेंज.com

— कार्डिनल

Answer 1

नहीं: केएल विचलन केवल एक सामान्य स्थान पर वितरण पर परिभाषित किया गया है। यह एक बिंदु की संभावना घनत्व के बारे में पूछता है$x$ दो अलग-अलग वितरणों के तहत, $p(x)$ तथा $q(x)$। अगर$p$ पर वितरण है $\mathbb{R}^3$ तथा $q$ पर वितरण $\mathbb{Z}$, फिर $q(x)$ अंक के लिए कोई मतलब नहीं है $p \in \mathbb{R}^3$ तथा $p(z)$ अंक के लिए कोई मतलब नहीं है $z \in \mathbb{Z}$। वास्तव में, हम इसे अलग-अलग आयामी स्थानों (या असतत, या किसी भी मामले में जहां अंतर्निहित संभावना रिक्त स्थान मेल नहीं खाते हैं) पर दो निरंतर वितरण के लिए भी नहीं कर सकते हैं।

यदि आपके पास कोई विशेष मामला है, तो वितरण के बीच असमानता के कुछ इसी तरह के उत्साही उपाय के साथ आना संभव हो सकता है। उदाहरण के लिए, असतत मामले में निकटतम बिंदु पर गोल करके, असतत एक (स्पष्ट रूप से खोई जानकारी के साथ) के लिए एक कोड के तहत एक निरंतर वितरण को सांकेतिक शब्दों में बदलना समझ में आ सकता है।

Comments

ध्यान दें कि असतत और बिल्कुल निरंतर वितरण के बीच केएल विचलन अच्छी तरह से परिभाषित है।

— ओलिवियर

@ ऑलिवर की सामान्य परिभाषा के लिए एक सामान्य प्रभावी उपाय की आवश्यकता है, नहीं?

— डगल

P और Q अलग-अलग स्थानों पर परिभाषित होने पर आप सही हैं। लेकिन एक सामान्य औसत दर्जे की जगह पर, इस तरह का एक उपाय हमेशा मौजूद रहता है (उदाहरण के लिए P + Q को लें), और केएल विचलन हावी होने के उपाय की विशेष पसंद पर निर्भर नहीं करता है।

— ओलिवियर

Answer 2

हां, निरंतर और असतत यादृच्छिक चर के बीच केएल विचलन अच्छी तरह से परिभाषित है। अगर$P$ तथा $Q$ कुछ जगह पर वितरण हैं $\mathbb{X}$, फिर दोनों $P$ तथा $Q$ घनत्व है $f$, $g$ इसके संबंध में $\mu = P+Q$ तथा

$$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$$

उदाहरण के लिए, यदि $\mathbb{X} = [0,1]$, $P$ Lebesgue का उपाय और है $Q = \delta_0$ एक बिंदु पर द्रव्यमान है $0$, फिर $f(x) = 1-\mathbb{1}_{x=0}$, $g(x) = \mathbb{1}_{x=0}$ तथा

$$D_{KL}(P, Q) = \infty.$$

Comments

आप यह कैसे साबित करते हैं $\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$हावी उपाय से स्वतंत्र है?

— गेब्रियल रोमोन

उपाय प्रमेय का परिवर्तन।

— ओलिवियर

Answer 3

सामान्य तौर पर नहीं। केएल विचलन है

$$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$$

उसे उपलब्ध कराया $P$ के संबंध में पूरी तरह से निरंतर है $Q$ और दोनों $P$ तथा $Q$ कर रहे हैं $\sigma$-finite (यानी जहां स्थितियां हैं $\frac{dP}{dQ}$ अच्छी तरह से परिभाषित है)।

कुछ सामान्य स्थान पर उपायों के बीच 'निरंतर-से-असतत' केएल विचलन के लिए, आपके पास ऐसा मामला है जहां लेब्सगेग माप गिनती गणना के संबंध में पूरी तरह से निरंतर है, लेकिन गणना उपाय नहीं है $\sigma$-finite।