"अनुभवजन्य एन्ट्रापी" शब्द किसने गढ़ा?

Question

मैं एंटोन के साथ शैनन के काम के बारे में जानता हूं, लेकिन हाल ही में मैंने रसीद डेटा संरचनाओं पर काम किया है जिसमें अनुभवजन्य एन्ट्रॉपी को अक्सर भंडारण विश्लेषण के हिस्से के रूप में उपयोग किया जाता है।

शैनन ने असतत सूचना स्रोत द्वारा उत्पादित जानकारी की एन्ट्रापी को परिभाषित किया $-\sum_{i=1}^k p_i \log{p_i}$, कहाँ पे $p_i$ घटना की संभावना है $i$ घटित, उदाहरण के लिए एक विशिष्ट वर्ण उत्पन्न, और वहाँ हैं $k$ संभव घटनाओं।

जैसा कि टिप्पणियों में एमसीएच द्वारा कहा गया है, अनुभवजन्य एन्ट्रापी इन घटनाओं के अनुभवजन्य वितरण का एन्ट्रापी है, और इस प्रकार से दिया जाता है$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ कहाँ पे $n_{i}$ घटना की देखी गई घटनाओं की संख्या है $i$ तथा $n$देखी गई घटनाओं की कुल संख्या है। इसे शून्य-वें क्रम आनुभविक एंट्रॉपी कहा जाता है । शैनन की सशर्त प्रवेश की धारणा समान उच्च क्रमिक संस्करण है।

शैनन ने अनुभवजन्य एन्ट्रापी शब्द का उपयोग नहीं किया, हालांकि वह निश्चित रूप से इस अवधारणा के कुछ श्रेय के हकदार हैं। किसने पहली बार इस विचार का उपयोग किया था और किसने पहली बार इसका वर्णन करने के लिए अनुभवजन्य एन्ट्रापी (बहुत तार्किक) का उपयोग किया था?

Comments

"हर स्ट्रिंग के लिए बिंदुवार परिभाषित" कोलमोगोरोव जटिलता की तरह लगता है: क्या आप इसका उल्लेख कर रहे हैं? यदि नहीं, तो क्या आप एक ऐसे लिंक की ओर संकेत कर सकते हैं जो इसे परिभाषित करता है, या बेहतर अभी भी प्रश्न में ही एक मानहानि प्रदान करता है?

— सुरेश वेंकट

इसे इसलिए कहा जाता है क्योंकि अनुभवजन्य एन्ट्रापी किसी अनुक्रम के अनुभवजन्य वितरण की एन्ट्रॉपी है।

— महदी चेरघची

@SureshVenkat मैंने प्रश्न को विस्तृत करने की कोशिश की है।

— उपयोगकर्ता 42

कोसराजू एस। राव, मंज़िनी जी, "लेम्पेल-ज़िव एल्गोरिदम के साथ कम एन्ट्रापी तारों का संपीड़न" (1998) को भी देख लें। वे " तथाकथित अनुभवजन्य एन्ट्रापी " का उपयोग करते हुए लेम्पेल-ज़िव एल्गोरिदम के प्रदर्शन का विश्लेषण करते हैं ।

— मार्जियो डी बियासी

ध्यान दें कि "अनुभवजन्य वितरण" वास्तव में आवृत्ति गणना के दिए गए सेट के लिए एमएल वितरण है। तो मुझे आश्चर्य है कि अगर यह वापस Bayes करने के लिए। यहां तक ​​कि लाप्लास ने अनुभवजन्य गणना से एक वितरण को परिभाषित करने की समस्या को हल किया था।

— सुरेश वेंकट

Answer 1

मुझे आपकी तरह "अनुभवजन्य एन्ट्रापी" में दिलचस्पी है और मुझे जो सबसे पहला पेपर मिला वह यह है कि कोसाराजू से उपयोगकर्ता "मार्ज़ियो डी बायसी" ने अपनी टिप्पणी में बताया।

लेकिन मेरी राय में "अनुभवजन्य एन्ट्रापी" की वास्तविक परिभाषा बाद में पूर्व अवधारणाओं को सामान्य करके बनाई गई है:

1. ट्रैविस गैगी (2008) द्वारा "बड़े अक्षर और अयोग्यता"
2. पॉल एमबी विटनी (2011) द्वारा "इम्प्रेशनल एन्ट्रॉपी"

Gagie की परिभाषा rephrase $k$वें क्रम आनुभविक एन्ट्रापी:

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

कहाँ पे $Q$ एक है $k$वें आदेश मार्कोव प्रक्रिया। उन्होंने यह भी दिखाया कि यह परिभाषा पिछले वाले के बराबर है।
विटैनी से अगला कदम प्रक्रियाओं की मनमानी वर्गों के लिए एक सामान्यीकरण था (न केवल मार्कोव-प्रक्रियाएं):

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

कहाँ पे $\mathcal{X}$ अनुमत प्रक्रियाओं का वर्ग है और $K(X)$कोलमोगोरोव जटिलता है।
अगर हम चुनते हैं$\mathcal{X}$ की कक्षा होगी $k$वें क्रम मार्कोव के अनुक्रम का उत्पादन प्रक्रियाओं $|w|$ यादृच्छिक चर और कोलमोगोरोव जटिलता की अनदेखी, इससे भी गैगी की परिभाषा (गुणा) $|w|$)।