केएल विचलन गैर-नकारात्मक क्यों है?

Question

केएल विचलन गैर-नकारात्मक क्यों है?

सूचना सिद्धांत के दृष्टिकोण से, मुझे ऐसी सहज समझ है:

कहते हैं कि $A$ और दो असेम्बल हैं जो द्वारा लेबल किए गए तत्वों के एक ही सेट से बने होते हैं । और क्रमशः और से अधिक भिन्न संभाव्यता वितरण हैं।$B$$x$$p(x)$$q(x)$$A$$B$

सूचना सिद्धांत के नजरिए से, बिट्स की कम से कम राशि है जो कलाकारों की टुकड़ी लिए एक तत्व रिकॉर्ड करने के लिए आवश्यक है । ताकि की प्रत्याशा को कम से कम कितने बिट्स के रूप में व्याख्या की जा सके, जो हमें में औसतन एक तत्व को रिकॉर्ड करने के लिए आवश्यक हैं ।$\log_{2}(P(x))$$x$$A$

$$\sum_{x \in ensemble}-p(x)\ln(p(x))$$ $A$

चूंकि यह सूत्र उन बिट्स पर एक निचली सीमा रखता है जिनकी हमें औसत पर जरूरत होती है, ताकि एक अलग पहनावा जो एक अलग संभाव्यता वितरण बारे में लाता है , यह प्रत्येक तत्व लिए जो बाउंड देता है वह निश्चित रूप से बिट नहीं होगा द्वारा दिया गया , जिसका अर्थ है कि प्रत्याशा में, यह औसत लंबाई निश्चित रूप से पूर्व की तुलना में अधिक होगी, जो to सुराग की ओर ले जाती है मैं p (x) और q के बाद से यहाँ नहीं डाल रहा हूँ (x) अलग हैं।क्यू ( एक्स ) एक्स पी ( एक्स ) Σ एक्स ∈ ई एन एस ई एम बी एल ई - पी ( एक्स ) ln ( क्ष ( एक्स ) ) Σ एक्स ∈ ई एन एस ई एम बी एल ई पी ( एक्स ) ln ( पी ( एक्स ) $B$$q(x)$$x$$p(x)$

$$\sum_{x\in ensemble}-p(x)\ln(q(x))$$
$$\sum_{x\in ensemble }p(x)\frac{\ln(p(x))}{\ln(q(x))} > 0$$ $\ge$$p(x)$$q(x)$

यह मेरी सहज समझ है, क्या केएल विचलन साबित करने का एक शुद्ध गणितीय तरीका गैर-नकारात्मक है? समस्या के रूप में कहा जा सकता है:

दिए गए और दोनों वास्तविक रेखा पर सकारात्मक हैं, और , । सिद्ध गैर-नकारात्मक है।$p(x)$$q(x)$$\int_{-\infty}^{+\infty}p(x)dx = 1$$\int_{-\infty}^{+\infty}q(x)dx = 1$

$$\int_{-\infty}^{+\infty}p(x)\ln\frac{p(x)}{q(x)}$$

यह कैसे साबित किया जा सकता है? या अतिरिक्त शर्तों के बिना यह साबित किया जा सकता है?

Comments

यदि आप फानो की असमानता के प्रमाण को समझते हैं तो सापेक्ष एन्ट्रापी की गैर-सक्रियता को प्राप्त करना आसान है ।

— लर्नर जांग

Answer 1

प्रमाण 1:

पहले ध्यान दें कि सभी लिए ।$\ln a \leq a-1$$a \gt 0$

अब हम उस दिखाएंगे जिसका अर्थ है कि$-D_{KL}(p||q) \leq 0$$D_{KL}(p||q) \geq 0$

$$\begin{align} -D(p||q)&=-\sum_x p(x)\ln \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\ln \frac{q(x)}{p(x)}\\ &\stackrel{\text{(a)}}{\leq} \sum_x p(x)\left(\frac{q(x)}{p(x)}-1\right)\\ &=\sum_x q(x) - \sum_x p(x)\\ &= 1 - 1\\ &= 0 \end{align}$$

असमानता (ए) के लिए हमने शुरुआत में समझाया गया असमानता का उपयोग किया ।$\ln$

वैकल्पिक रूप से आप गिब्स की असमानता के साथ शुरू कर सकते हैं जो बताता है:

$$-\sum_x p(x) \log_2 p(x) \leq -\sum_x p(x)\log_2 q(x)$$

फिर यदि हम बाईं ओर दायीं ओर ले आते हैं:

$$\sum_x p(x) \log_2 p(x) - \sum_x p(x)\log_2 q(x)\geq 0 \\ \sum_x p(x)\log_2 \frac{p(x)}{q(x)}\geq 0$$

इसका कारण मैं इसे एक अलग प्रमाण के रूप में शामिल नहीं कर रहा हूं क्योंकि अगर आपको मुझसे गिब्स की असमानता साबित करने के लिए कहना है, तो मुझे केएल विचलन के गैर-नकारात्मकता से शुरू करना होगा और ऊपर से एक ही प्रमाण देना होगा।

---

प्रमाण 2: हम लॉग सम असमानता का उपयोग करते हैं :

$$\sum_{i=1}^{n} a_i \log_2 \frac{a_i}{b_i} \geq \left(\sum_{i=1}^{n} a_i\right)\log_2\frac{\sum_{i=1}^{n} a_i}{\sum_{i=1}^{n} b_i}$$

फिर हम दिखा सकते हैं कि : $D_{KL}(p||q) \geq 0$

$$\begin{align} D(p||q)&=\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &\stackrel{\text{(b)}}{\geq} \left(\sum_x p(x)\right)\log_2\frac{\sum_x p(x)}{\sum_x q(x)}\\ &=1 \cdot \log_2 \frac{1}{1}\\ &=0 \end{align}$$

जहां (b) पर हमने लॉग सम विषमता का उपयोग किया है।

---

प्रमाण 3:

(थॉमस एम। कवर और जॉय ए। थॉमस की पुस्तक "एलीमेंट ऑफ इंफॉर्मेशन थ्योरी" से लिया गया)

$$\begin{align} -D(p||q)&=-\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\log_2 \frac{q(x)}{p(x)}\\ &\stackrel{\text{(c)}}{\leq} \log_2 \sum_x p(x)\frac{q(x)}{p(x)}\\ &=\log_2 1\\ &=0 \end{align}$$

जहां (ग) हमने जेन्सेन की असमानता का इस्तेमाल किया है और यह तथ्य कि एक अवतल कार्य है।$\log$