विभिन्न प्रकार की एन्ट्रापी में अच्छा परिचय

Question

मैं एक किताब या ऑनलाइन संसाधन की तलाश कर रहा हूं जो विभिन्न प्रकार के एन्ट्रॉपी को समझाता है जैसे कि नमूना एंट्रॉपी और शैनन एंट्रॉपी और उनके फायदे और नुकसान। क्या कोई मुझे सही दिशा दिखा सकता है?

Answer 1

कवर एंड थॉमस की पुस्तक एलिमेंट्स ऑफ इंफॉर्मेशन थ्योरी एन्ट्रापी और इसके अनुप्रयोगों का एक अच्छा स्रोत है, हालांकि मुझे नहीं पता है कि यह उन मुद्दों को संबोधित करता है जो आपके दिमाग में हैं।

Comments

डेम्बो कवर और थॉमस द्वारा पेपर "सूचना सिद्धांत संबंधी असमानताएं" में कई गहरे पहलुओं का खुलासा किया गया है

— रॉबिन जिरार्ड

फिर भी, उन पुस्तकों में से कोई भी दावा नहीं करता है कि एक से अधिक एन्ट्रापी हैं।

Answer 2

ओ जॉनसन द्वारा सूचना सिद्धांत पर इन व्याख्यान नोटों में विभिन्न प्रकार के एन्ट्रापी का अच्छा परिचय है।

Answer 3

यदि आपकी रुचि गणित के सांख्यिकीय में एंट्रॉपी के आसपास है, तो आप इस पुस्तक से परामर्श कर सकते हैं

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

यह स्वतंत्र रूप से उपलब्ध है!

Answer 4

एन्ट्रापी केवल एक है (एक अवधारणा के रूप में) - कुछ प्रणाली का वर्णन करने के लिए आवश्यक जानकारी की मात्रा; इसके कई सामान्यीकरण हैं। नमूना एन्ट्रापी केवल कुछ एन्ट्रापी-जैसा वर्णनकर्ता है जिसका उपयोग हृदय गति विश्लेषण में किया जाता है।

Comments

मुझे पता है, हालांकि यह मुझे यह तय करने में मदद नहीं करता है कि नमूना एन्ट्रापी या शैनन एन्ट्रापी या किसी अन्य प्रकार की एन्ट्रॉपी का उपयोग करना उस डेटा के लिए उपयुक्त है, जिसके साथ मैं काम कर रहा हूं।

— क्रिश्चियन

मैंने अपनी पोस्ट में जो लिखा है, वह केवल एक निश्चित प्रकार के डेटा / प्रक्रिया / प्रणाली के लिए केवल एक सही एंट्रोपी परिभाषा है। नमूना Entropy है नहीं एक एन्ट्रापी उपाय, यह सिर्फ एक भ्रामक नाम के साथ कुछ आंकड़ा है। एक सवाल करें जहां आप उस डेटा को परिभाषित करते हैं जिसके लिए आप एन्ट्रॉपी की गणना करना चाहते हैं, और सूत्र प्राप्त करेंगे।

मुझे सच में दिलचस्पी नहीं है, लेकिन एक फ़ंक्शन प्राप्त करने में जो काम करता है। मैं एक बायोइनफॉरमैटिशियन हूं और डॉगमैटिक सत्य की तलाश नहीं बल्कि उन आंकड़ों की तलाश करना सिखाता हूं जो काम करते हैं। मुझे नहीं लगता कि जिस तरह के डेटा के साथ मैं काम करना चाहता हूं, उस बारीकियों के साथ काम करना चाहता हूं। यही कारण है कि मैं डेटा के साथ काम करना चाहता हूं।

— ईसाई

सही है, लेकिन यह हठधर्मिता के बारे में नहीं बल्कि शब्दों के बारे में चर्चा है। आपने एन्ट्रॉपी के बारे में पूछा है, इसलिए मैंने एन्ट्रॉपी के बारे में उत्तर दिया। क्योंकि अब मैं देख रहा हूं कि आपको वास्तव में समय श्रृंखला के वर्णनकर्ताओं के बारे में एक उत्तर की आवश्यकता है, समय श्रृंखला के वर्णनकर्ताओं के बारे में एक प्रश्न लिखें, उसके बाद ही आपको एक उपयोगी उत्तर मिलेगा।

Answer 5

जेनेस दिखाते हैं कि शैनन की एन्ट्रापी को अपनी किताब में बुनियादी सिद्धांतों से कैसे निकाला जाए ।

$n!$$n^n$

$$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$$

$d$$p$ , , इसलिए यह की व्याख्यात्मक शक्ति का एक प्रकार है।

Comments

$n^n$$n!$$\log(n!) \sim n \log n - n + O(1)$$n$$p_1 + \cdots+ p_d = 1$

Answer 6

ग्रुनवल्ड और दाविद के पेपर गेम थ्योरी, अधिकतम एन्ट्रापी, न्यूनतम विसंगति और मजबूत बायेसियन निर्णय सिद्धांत एंट्रोपी की पारंपरिक धारणा के सामान्यीकरण पर चर्चा करते हैं। नुकसान को देखते हुए, इसका संबद्ध एन्ट्रापी फंक्शन, वितरण से न्यूनतम वितरण के लिए न्यूनतम अपेक्षित अपेक्षित हानि की मैपिंग है। सामान्य एन्ट्रापी फ़ंक्शन लॉग लॉस के साथ जुड़ा सामान्यीकृत एन्ट्रॉपी है। नुकसान के अन्य विकल्प अलग-अलग एन्ट्रापी देते हैं जैसे रेनी एन्ट्रॉपी।

Comments

तो फिर, सिग्मा एन (0, सिग्मा) की एन्ट्रापी है, जो चुकता त्रुटि के अनुरूप है, और मिन (पी, 1-पी) बर्नौली (पी) की एन्ट्रॉपी है, जो 0,1 पूर्वानुमान हानि के अनुरूप है? काफी सामान्यीकरण जैसा लगता है!

— यारोस्लाव बुलटोव

हाँ। वर्ग हानि के लिए एन्ट्रापी निरंतर है और 0-1 नुकसान के लिए एन्ट्रापी न्यूनतम (पी, 1-पी) है। यह भी दिलचस्प है कि ये अलग-अलग पत्राचार भी हैं। हेलिंजर डाइवर्जेंस के लिए चौकोर नुकसान और परिवर्तनशील विचलन के 0-1 नुकसान। चूँकि एन्ट्रोपियों को इस तरह परिभाषित किया जाता है कि वे आवश्यक रूप से अवतल कार्य हैं और यह f (p) = -entropy (p) का उपयोग करके निर्मित f- विचलन को दर्शाता है। बॉब विलियमसन और मैंने इसके बारे में अपने पेपर में कुछ पता लगाया है: arxiv.org/abs/0901.0356 । यह मजेदार चीज है।

— मार्क रीड

यहाँ के कुछ दिलचस्प मैं भिन्नता के बारे में हाल ही में पाया - विश्वास प्रचार के हर कदम एक ब्रैगमैन प्रक्षेपण के रूप में देखी जा सकती है ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— यारोस्लाव Bulatov