अंतर एंट्रोपी की व्याख्या कैसे करें?

Question

मैंने हाल ही में एक असतत संभावना वितरण के एन्ट्रापी पर इस लेख को पढ़ा । यह अपेक्षित संख्या बिट्स के रूप में एन्ट्रॉपी के बारे में सोचने का एक अच्छा तरीका बताता है (कम से कम जब आपके एन्ट्रापी परिभाषा में का उपयोग करते हुए ) एक संदेश को एन्कोड करने के लिए आवश्यक होता है जब आपका एन्कोडिंग इष्टतम होता है, जो आपके द्वारा उपयोग किए जाने वाले शब्दों की संभावना वितरण को देखते हुए।$\log_2$

हालांकि, जब यहां लगातार मामले का विस्तार हो रहा है, तो मेरा मानना ​​है कि सोचने का यह तरीका टूट जाता है, क्योंकि किसी भी निरंतर संभाव्यता वितरण (कृपया मुझे सही करें अगर वह गलत है), तो मैं सोच रहा था कि क्या निरंतर एन्ट्रापी का अर्थ है, असतत मामले की तरह ही सोचने का अच्छा तरीका है।$\sum_x p(x) = \infty$$p(x)$

Comments

क्या आपने एन्ट्रापी और अंतर एन्ट्रापी पर विकिपीडिया लेख पढ़ने की कोशिश की?

— ttnphns

एक सतत वितरण में प्रायिकता का कार्य नहीं होता है। निरंतर मामले में एनालॉग एक प्रायिकता घनत्व का अभिन्न अंग है और एक्स की पूरी रेंज पर अभिन्न 1. बराबर है।

— माइकल आर। चेरिक

@MichaelChernick मैंने यह नहीं कहा कि यह एक है, लेकिन असतत मामले के बारे में सोचने का तरीका इस तथ्य पर निर्भर करता है कि योग 1 के बराबर है।

— dippynark

@ttnphns no I havent, लेकिन मैं अभी उनकी जाँच करूँगा, धन्यवाद।

— dippynark

शैनन एन्ट्रापी की व्याख्या के लिए आंकड़े भी देखें ।stackexchange.com/questions/66186/… । कुछ विचारों को स्थानांतरित किया जा सकता है।

— kjetil b halvorsen

Answer 1

अंतर एन्ट्रापी की कोई व्याख्या नहीं है जो एन्ट्रापी की तरह सार्थक या उपयोगी होगी। निरंतर यादृच्छिक चर के साथ समस्या यह है कि उनके मूल्यों में आमतौर पर 0 संभावना है, और इसलिए सांकेतिक शब्दों में बदलना करने के लिए अनंत संख्या में बिट्स की आवश्यकता होगी।

यदि आप अंतराल की संभावना को मापने के लिए अंतराल की सीमा को देखते हैं , तो आप समाप्त करते हैं$[n\varepsilon, (n + 1)\varepsilon[$

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

और अंतर एन्ट्रापी नहीं। यह मात्रा एक अर्थ में अधिक सार्थक है, लेकिन हम छोटे और छोटे अंतराल के रूप में अनंत को विचलन करेंगे। यह समझ में आता है, क्योंकि हमें अधिक से अधिक बिट्स की आवश्यकता होगी, जिसमें कि कई अंतरालों में हमारे यादृच्छिक मूल्य के मूल्य में गिरावट आती है।

निरंतर वितरण के लिए देखने के लिए एक अधिक उपयोगी मात्रा सापेक्ष एन्ट्रॉपी (कुल्बैक-लीब्लर विचलन भी है)। असतत वितरण के लिए:

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

इसका उपयोग करके सही वितरण है अतिरिक्त बिट्स की संख्या उपायों , लेकिन हम का उपयोग के लिए एनकोड बिट्स । हम सापेक्ष एन्ट्रापी की सीमा ले सकते हैं और यहां आ सकते हैं$P$$-\log Q_2(x)$$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

क्योंकि रद्द हो जाएगा। निरंतर वितरण के लिए यह असीम रूप से छोटे डिब्बे की सीमा में उपयोग किए जाने वाले अतिरिक्त बिट्स की संख्या से मेल खाती है। निरंतर और असतत वितरण दोनों के लिए, यह हमेशा गैर-नकारात्मक होता है।$\log_2 \varepsilon$

अब, हम और एक असामान्य घनत्व बीच नकारात्मक सापेक्ष एन्ट्रापी के रूप में अंतर एन्ट्रापी के बारे में सोच सकते हैं ।$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

इसकी व्याख्या का उपयोग करके आवश्यक बिट्स की संख्या में अंतर होगा बिट्स -th अंतराल को एन्कोड करने के लिए of बिट्स। भले ही पूर्व इष्टतम होगा, यह अंतर अब नकारात्मक हो सकता है, क्योंकि धोखा दे रहा है (1 को एकीकृत नहीं करके) और इसलिए सैद्धांतिक रूप से औसत से कम बिट्स असाइन कर सकता है।$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$$n$$-\log \varepsilon$$\lambda$

रिश्तेदार एन्ट्रापी के लिए एक महान परिचय के लिए सर्जियो वर्दु की बात देखें ।