शैनन की एन्ट्रापी में लघुगणक की भूमिका क्या है?

Question

शैनन की एन्ट्रॉपी प्रत्येक परिणाम की संभावनाओं के लघुगणक द्वारा गुणा किए गए प्रत्येक परिणाम की संभावनाओं के योग का ऋणात्मक है। इस समीकरण में लघुगणक का क्या उद्देश्य है?

एक सहज या दृश्य उत्तर (गहन गणितीय उत्तर के विपरीत) बोनस अंक दिए जाएंगे!

Comments

आप (या अन्य पाठक) आनंद ले सकते हैं: ए। रेनी (1961), आन्टी ऑफ एन्ट्रापी एंड इंफॉर्मेशन , प्रोक। गणितीय सांख्यिकी और संभाव्यता पर चौथे बर्कले संगोष्ठी , वॉल्यूम। 1, 547-561 है।

— कार्डिनल

आपकी प्रतिक्रिया के आधार पर , मुझे लगता है कि आपके कहने का मतलब यह है कि शैनन ने अपने फॉर्मूले में लघुगणक का उपयोग क्यों किया?

— ओकर

@ जोकर: यह वाक्यांश का एक तरीका है। “मैंने उसे अंदर क्यों डाला? "क्या" यह फ़ंक्शन या भूमिका है "?" क्या "इसे प्राप्त करता है?" कैसे "यह मददगार है? मेरे लिए, ये सभी एक ही पड़ोस में हैं ...

— histelheim

मेरे जवाब को यहां देखें: आंकड़े

— kjetil b halvorsen

मेरा उत्तर देखें, मुझे लगता है कि एक लॉग का अर्थ वास्तव में केवल सांख्यिकीय यांत्रिकी में शैनन एंट्रोपी की जड़ों की जांच करके समझा जा सकता है

— अक्षल

Answer 1

शैनन एन्ट्रापी एक मात्रा है जो संबंधों के एक सेट को संतुष्ट करती है।

संक्षेप में, लघुगणक को सिस्टम आकार और "जानकारी की तरह व्यवहार" के साथ रैखिक रूप से बढ़ाना है।

पहला अर्थ यह है कि एक सिक्का बार- बार पटकने का एन्ट्रोपी एक सिक्के को उछालने का एन्ट्रोपी:$n$$n$

$$- \sum_{i=1}^{2^n} \frac{1}{2^n} \log\left(\tfrac{1}{2^n}\right) = - \sum_{i=1}^{2^n} \frac{1}{2^n} n \log\left(\tfrac{1}{2}\right) = n \left( - \sum_{i=1}^{2} \frac{1}{2} \log\left(\tfrac{1}{2}\right) \right) = n.$$

या बस यह देखने के लिए कि यह कैसे काम करता है जब दो अलग-अलग सिक्कों को किया जाता है (संभवत: अनुचित है - जिनके सिर प्रायिकता के साथ और पूंछ पहले सिक्के के लिए, और और दूसरे के लिए) इसलिए लघुगणक (उत्पाद का लघुगणक का गुण योग है लघुगणक) महत्वपूर्ण हैं।$p_1$$p_2$$q_1$$q_2$

$$-\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i q_j) = -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \left( \log(p_i) + \log(q_j) \right)$$ $$= -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i) -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(q_j) = -\sum_{i=1}^2 p_i \log(p_i) - \sum_{j=1}^2 q_j \log(q_j)$$

लेकिन यह भी है कि रेनी एन्ट्रॉपी के पास यह संपत्ति है (यह एक वास्तविक संख्या द्वारा एन्ट्रापी पैराट्राइज्ड है , जो कि शैनन एन्ट्रापी के लिए )।$\alpha$$\alpha \to 1$

हालांकि, यहां दूसरी संपत्ति आती है - शैनन एंट्रोपी विशेष है, क्योंकि यह जानकारी से संबंधित है। कुछ सहज महसूस करने के लिए, आप को के औसत के रूप में देख सकते हैं ।

$$H = \sum_i p_i \log \left(\tfrac{1}{p_i} \right)$$ $\log(1/p)$

हम जानकारी को कॉल कर सकते हैं। क्यों? क्योंकि यदि सभी घटनाएं प्रायिकता साथ होती हैं , तो इसका मतलब है कि इवेंट हैं। यह बताने के लिए कि कौन सी घटना हुई है, हमें बिट्स का उपयोग करने की आवश्यकता है (प्रत्येक बिट उन घटनाओं की संख्या को दोगुना कर सकती है जिन्हें हम अलग बता सकते हैं)।$\log(1/p)$$p$$1/p$$\log(1/p)$

आप चिंतित महसूस कर सकते हैं "ठीक है, यदि सभी घटनाओं में समान संभावना है तो यह सूचना के माप के रूप में का उपयोग करने के लिए समझ में आता है । लेकिन यदि वे नहीं हैं, तो औसत जानकारी का कोई मतलब क्यों है?" - और यह एक प्राकृतिक चिंता है।$\log(1/p)$

लेकिन यह पता चला है कि यह समझ में आता है - शैनन के स्रोत कोडिंग प्रमेय का कहना है कि प्रायिकता के साथ असंबंधित अक्षरों के साथ एक स्ट्रिंग लंबाई संपीड़ित नहीं की जा सकती (औसतन) से कम । और वास्तव में, हम स्ट्रिंग को संपीड़ित करने के लिए हफमैन कोडिंग का उपयोग कर सकते हैं और बहुत करीब पहुंच सकते हैं ।$\{p_i\}_i$$n$$n H$n H$n H$

यह सभी देखें:

• एक अच्छा परिचय Cosma Shalizi की सूचना सिद्धांत प्रविष्टि है
• एंट्रोपी क्या है, वास्तव में? - MathOverflow
• GZIP प्रारूप को विघटित करना

Comments

इस उत्तर में बहुत सारे अच्छे विवरण हैं - लेकिन एक आम आदमी के नजरिए से यह अभी भी इस मुद्दे को हल करता है - लॉजिथिम की भूमिका क्या है? हम लघुगणक के बिना एन्ट्रापी की गणना क्यों नहीं कर सकते हैं?

— हिस्टेलिमे

@histelheim "लघुगणक के बिना" से आपका क्या तात्पर्य है? सिर्फ एक है। आप बिना विविधता का एक और उपाय चाहते हैं लॉग , देखो विविधता सूचकांक - जैसे तथाकथित उलटा सिम्पसन सूचकांक 1 / Σ मैं पी 2 मैं जो विकल्पों की प्रभावी संख्या (औसत संभावना के ऊपर एक) बताता है, वहाँ गिनी-सिम्पसन सूचकांक 1 - ∑ i p 2 $\sum_i p_i$$\log$ $1/\sum_i p_i^2$ $1-\sum_i p_i^2$जो हमेशा 0 और एक के बीच होता है। और यदि आप शैनन एन्ट्रापी के सूक्ष्म सूचना-संबंधित गुणों की परवाह नहीं करते हैं, तो आप उनमें से किसी का उपयोग कर सकते हैं (हालांकि, वे कम और उच्च संभावनाओं को अलग-अलग तरीके से वजन करते हैं)।

— पायोत्र मिग्डल

मैं आपकी अंतिम टिप्पणी से चकित हूं, हिस्टेलिहेम: "लघुगणक के बिना एन्ट्रापी" क्या संभवतः संदर्भित कर सकता है? यह बताता है कि आपने अभी तक अपने प्रश्न को स्पष्ट रूप से व्यक्त नहीं किया है, क्योंकि ऐसा लगता है कि आपके मन में "एन्ट्रॉपी" की कुछ अस्थिर अवधारणा है। कृपया हमें अनुमान न रखें - अपने प्रश्न को संपादित करें ताकि आपके पाठक आपके द्वारा खोजे जा रहे उत्तर प्रदान कर सकें।

— whuber

@ पियोट्र मिग्डल - आप लिखते हैं "लॉगरिथम इसे सिस्टम आकार के साथ रैखिक रूप से बढ़ रहा है और" ऐसा व्यवहार करना "है।" - यह मेरे लिए लघुगणक की भूमिका को समझने के लिए महत्वपूर्ण लगता है, हालांकि मैं इसका मतलब के रूप में काफी स्पष्ट नहीं हूं।

— २

@ पियोट्र मिग्डल - आगे, आपके स्पष्टीकरण के बाद "हम लॉग (1 / p) जानकारी को कॉल कर सकते हैं। क्यों?" मुझे समझ में आता है। क्या यह है कि लघुगणक अनिवार्य रूप से हमें विविधता सूचकांक से सूचना सूचकांक में स्थानांतरित करता है - बिट्स की संख्या को मापने के लिए हमें घटनाओं को बताने की आवश्यकता है।

— २

Answer 2

यह अन्य उत्तरों के समान है, लेकिन मुझे लगता है कि इसे समझाने का सबसे अच्छा तरीका यह देखना है कि शैनन अपने मूल पेपर में क्या कहते हैं।

लॉगरिदमिक उपाय विभिन्न कारणों से अधिक सुविधाजनक है:

1. यह व्यावहारिक रूप से अधिक उपयोगी है। समय, बैंडविड्थ, रिले की संख्या आदि जैसे इंजीनियरिंग महत्व के पैरामीटर संभावनाओं की संख्या के लघुगणक के साथ रैखिक रूप से भिन्न होते हैं। उदाहरण के लिए, एक समूह में एक रिले जोड़ने से रिले के संभावित राज्यों की संख्या दोगुनी हो जाती है। यह इस संख्या के आधार 2 लघुगणक में 1 जोड़ता है। समय को दोगुना करना संभावित संदेशों की संख्या को बढ़ाता है, या लघुगणक, आदि को दोगुना करता है।
2. यह उचित उपाय के रूप में हमारे सहज ज्ञान के करीब है। यह (1) के साथ निकटता से संबंधित है क्योंकि हम सहजता से सामान्य मानकों के साथ रैखिक तुलना द्वारा संस्थाओं को मापते हैं। एक लगता है, उदाहरण के लिए, कि दो छिद्रित कार्डों में सूचना भंडारण के लिए एक की क्षमता का दोगुना होना चाहिए, और दो समान चैनलों को सूचना प्रसारित करने के लिए एक की क्षमता से दोगुना होना चाहिए।
3. यह गणितीय रूप से अधिक उपयुक्त है। सीमित कार्यों में से कई लघुगणक के संदर्भ में सरल हैं, लेकिन संभावनाओं की संख्या के संदर्भ में अनाड़ी प्रतिबंध की आवश्यकता होगी

स्रोत: शैनन, एक गणितीय सिद्धांत का संचार (1948) [ पीडीएफ ]।

---

ध्यान दें कि शैनन एन्ट्रॉपी सांख्यिकीय यांत्रिकी के गिब्स एंट्रॉपी के साथ मेल खाता है, और गिब्स एंट्रोपी में लॉग क्यों होता है, इसके लिए एक स्पष्टीकरण भी है। सांख्यिकीय यांत्रिकी में, एन्ट्रापी एक उपाय संभव राज्यों की संख्या माना जाता है , जिसमें एक प्रणाली पाया जा सकता है। कारण है कि लोग इन Ω से बेहतर है Ω वजह से है Ω आमतौर पर अपने तर्कों का एक बहुत ही तेजी से बढ़ते समारोह है, और इसलिए उपयोगी एक टेलर विस्तार करके लगाया जा सकता है, जबकि लोग इन Ω हो सकता है। (मुझे नहीं पता कि यह लॉग लेने के लिए मूल प्रेरणा थी, लेकिन बहुत सारे परिचयात्मक पुस्तकों में इसे इस तरह समझाया गया है।)$\Omega$$\log \Omega$$\Omega$$\Omega$$\log \Omega$

Comments

यह उत्तर सबसे अधिक केंद्रित जानकारीपूर्ण प्रतीत होता है।

— ब्राइट-स्टार

यही कारण है कि एन्ट्रापी गणना में लॉग दिखाई नहीं देता है। यही कारण है कि रिपोर्ट की गई जानकारी इस प्रकार है। एक वैकल्पिक मात्रा है: "पेरिप्लेक्सिटी" जो लॉग के बिना जानकारी की रिपोर्ट करती है। अपने पेपर के इस हिस्से में शैनन बिट्स / नट / हार्लेज़ के पक्ष में और विरोधी के खिलाफ बहस कर रहे हैं।

— नील जी

Answer 3

इसे देखने का एक और तरीका एल्गोरिथम दृष्टिकोण से है। कल्पना कीजिए कि आप एक संख्या का अनुमान लगाने जा रहे हैं , कि आपके पास एकमात्र जानकारी यह है कि यह संख्या 1 ≤ x ≤ N के अंतराल में है । इस स्थिति में, संख्या का अनुमान लगाने के लिए इष्टतम एल्गोरिथ्म एक सरल द्विआधारी खोज एल्गोरिथ्म है, जो क्रम ओ ( लॉग 2 एन ) में एक्स पाता है । यह सूत्र सहज रूप से कहता है कि एक्स क्या है यह जानने के लिए आपको कितने प्रश्न पूछने की आवश्यकता है । उदाहरण के लिए, यदि N = 8 , तो आपको unkown x को खोजने के लिए अधिकतम 3 प्रश्न पूछने की आवश्यकता है$x$$1 \leq x \leq N$$x$$O(\log_2N)$$x$$N=8$$x$।

$x$$1 \leq x \leq N$$p(x) = 1/N$$1 \leq x \leq N$$x$

$$\begin{equation} h(x) = \log_2 \frac{1}{p(x)} \end{equation}$$

$x=4$$h(4) = 3$$x$$4$$x=4$

$x$$x$$h(x)$$x$

$$\begin{equation} \langle h(x) \rangle = \sum_{1 \leq x \leq N} p(x) h(x) \end{equation}$$

$\langle h(x) \rangle$$H(X)$$H(X)$

Comments

+ यह सूचना सिद्धांत के मेरे पसंदीदा अनुप्रयोगों में से एक है - एल्गोरिथ्म विश्लेषण। यदि आपके पास> 2 परिणामों के साथ निर्णय बिंदु हैं, जैसे कि जब आप किसी सरणी को इंडेक्स करते हैं, तो हैश कोडिंग और ओ (n) के पीछे सिद्धांत है।

— माइक डनलवे

यह तर्क असतत एन्ट्रापी के लिए ठीक है, लेकिन आसानी से निरंतर एन्ट्रापी के लिए सामान्यीकरण नहीं करता है।

— नील जी

Answer 4

यहाँ एक ऑफ-कफ स्पष्टीकरण है। आप कह सकते हैं कि एक ही आकार की 2 पुस्तकों में 1 पुस्तक, सूचना के अधिकार से दोगुनी जानकारी है? (एक पुस्तक को बिट्स का एक स्ट्रिंग माना जाता है।) ठीक है, अगर एक निश्चित परिणाम की संभावना P है, तो आप कह सकते हैं कि इसकी जानकारी सामग्री बिट्स की संख्या के बारे में है जिसे आपको 1 / P लिखने की आवश्यकता है। (जैसे यदि P = 1/256, यह 8 बिट है।) Entropy उस जानकारी की लंबाई का औसत है, सभी परिणामों पर।

Answer 5

$\log(p_i)$$\log(p_i)$$H(p_1, \ldots ,p_N)$

शैनन ने इस परिणाम का एक गणितीय प्रमाण प्रदान किया जिसे पूरी तरह से उठाया गया है और व्यापक रूप से स्वीकार किया गया है। एन्ट्रापी समीकरण में लघुगणक का उद्देश्य और महत्व इसलिए मान्यताओं और प्रमाण के भीतर आत्म-निहित है।

यह समझना आसान नहीं बनाता है, लेकिन अंततः यही कारण है कि लघुगणक प्रकट होता है।

मैंने निम्नलिखित संदर्भों को उन सूचीबद्ध अन्य जगहों के अलावा उपयोगी पाया है:

1. संभावना सिद्धांत: एट जेन्स द्वारा विज्ञान का तर्क । Jaynes उन कुछ लेखकों में से एक है जो खरोंच से कई परिणाम प्राप्त करते हैं; अध्याय 11 देखें।
2. डेविड मैकके द्वारा सूचना सिद्धांत, आविष्कार और सीखना एल्गोरिदम । शैनन के स्रोत कोडिंग प्रमेय का गहराई से विश्लेषण करता है; अध्याय 4 देखें।

Answer 6

सारांश:

$n$$n$

उदाहरण:

$6$$6$$1$$n=2$$1$

$3.5$$6/2=3$

$1$

चलो इसे करते हैं:

• $6$$> 3.5$
• $6/2=3$$\ge 5$
• $6/2/2=1.5$$= 6$

$6$$3$$ceil(\log_2(6)) = ceil(2.58) = 3$

$ceil$

$2.58$

$\log_2(...)$$n$$n$$2$$\log_n(...)$

सिमुलेशन:

import random

total_questions = 0
TOTAL_ROUNDS = 10000

for i in range(0,TOTAL_ROUNDS):
    outcome = random.randrange(1,7)
    total_questions += 1
    if outcome > 3.5:
        total_questions += 1
        if outcome >= 5:
            total_questions += 1
            if outcome == 5:
                pass
            else:
                # must be 6! no need to ask
                pass
        else:
            # must be 4! no need to ask
            pass
    else:
        total_questions += 1
        if outcome >= 2:
            total_questions += 1
            if outcome == 2:
                pass
            else:
                # must be 3! no need to ask
                pass
        else:
            # must be 1! no need to ask
            pass


print 'total questions: ' + str(total_questions)
print 'average questions per outcome: ' + str(total_questions/float(TOTAL_ROUNDS))

परिणाम:

total questions: 26634
average questions per outcome: 2.6634

$2.6634 \ne \log_2(6) \ne 2.58$

क्या गलत है? यह लगभग बंद है, लेकिन वास्तव में करीब नहीं है जैसा कि मुझे उम्मीद थी। क्या यह पायथन का PRNG धीमा मजाक कहने की कोशिश कर रहा है? या शैनन गलत है? या यह है -आज मना करना- मेरी समझ गलत है? किसी भी तरह से मदद। एसओएस पहले से ही दोस्त।

Comments

$6^5=7776$$\lceil\log_2(6^5)\rceil=13$$13/5=2.6$$190537$$492531$$492531/190537\approx 2.584962500722$

@ जब भी मैं अपने कोड में काम कर रहा हूं तो क्या यह नहीं है? मैं १०००० मरता हूँ, और जितने भी प्रश्न पूछता हूँ, सभी मर जाते हैं। मैं तब योग करता हूं / 10000 मुझे 2.66 मिलता है।

— गुफामान

नहीं, आप अपने कोड में ऐसा बिल्कुल नहीं कर रहे हैं! आपको एक साथ सभी पासा की स्थिति को एक साथ प्राप्त करने के लिए डिज़ाइन किए गए प्रश्नों का एक सेट पूछने की आवश्यकता है । यह एक ही बात नहीं है क्योंकि एक बार में एक व्यक्ति की मृत्यु का पता लगाने के लिए आवश्यक प्रश्नों की औसत संख्या है।

— whuber

Answer 7

$\Omega = \{\omega_1, \dotsc, \omega_n\}$$p_1, \dotsc, p_n$$H(p_1, \dotsc, p_n)$

• $H$
• $H$$n$$p_1 = \dots = p_n = \frac1n$
• $H$ $$\begin{align} H\left(\frac12, \frac16, \frac13\right) &= H\left(\frac12, \frac12\right) + \frac12 H\left(\frac13, \frac23\right). \end{align}$$

$H$

$$\begin{align} H(p_1, \dotsc, p_n) &= -\sum_{i=1}^np_i\log_kp_i \end{align}$$ $k>1$$k=2$

Answer 8

यह सवाल दो साल पहले उठाया गया था और पहले से ही कई भयानक जवाब दिए गए हैं, लेकिन मैं अपना जोड़ना चाहूंगा जिसने खुद को बहुत मदद की।

प्रश्न है

इस समीकरण में लघुगणक का क्या उद्देश्य है?

लघुगणक (आमतौर पर 2 पर आधारित) क्राफ्ट की असमानता के कारण है ।

$\sum_{i=1}^m 2^{-l_i} <= 1$

$l_i$$L_x$$P(x)$

$P(x) = 2^{-L(x)}$

$L_{(x)} = -logP(x)$$P(x)$$L_{(x)}$

$L_{(x)}$$P(x)$$-P(x)logP(x)$

एक सहज चित्रण और एक दृश्य उत्तर (जैसा कि आपको आवश्यक था, लेकिन विशेष रूप से क्राफ्ट की असमानता के लिए) इस पेपर कोड ट्री और क्राफ्ट की असमानता में व्यक्त किया गया है ।

Answer 9

किसी भी पहले से ही जवाब की आपकी गैर-बराबरी के आधार पर, मुझे लगता है कि आप जिस चीज की तलाश कर रहे हैं, वह यही कारण है कि शैनन ने पहले स्थान पर अपने फॉर्मूले में लघुगणक का उपयोग किया। दूसरे शब्दों में, इसका दर्शन।

_{डिस्क्लेमर : मैं सिर्फ एक सप्ताह के लिए इस क्षेत्र में हूं, यहां आपके जैसे प्रश्न होने के कारण आ रहा हूं । यदि आपके पास इस पर अधिक ज्ञान है, तो कृपया मुझे बताएं।}

उलानोविक्ज़ के सबसे महत्वपूर्ण पेपर में से एक, बढ़ते एन्ट्रापी: हीट डेथ या परफेक्ट हार्मोनिज़ को पढ़ने के बाद मेरा यह प्रश्न है ? । यह पैरा बताता है कि सूत्र (-p) के बजाय -log (p) क्यों है:

एन्ट्रापी की औपचारिक परिभाषा को और अनपैक करने से पहले, किसी को यह पूछने में उचित ठहराया जाएगा कि क्यों न (केवल (1) पी को चुना जाए - [-प्लॉग] (पी) के बजाय नोक्सिस्टेंस का सबसे उपयुक्त उपाय? इसका उत्तर यह है कि पी के साथ परिणामी उत्पाद ([[p-p ^ 2]) मूल्य p = 0.5 के आसपास पूरी तरह सममित है। इस तरह के एक सममित संयोजन के अनुसार गणना केवल एक प्रतिवर्ती ब्रह्मांड का वर्णन करने में सक्षम होगी। बोल्ट्जमान और गिब्स, हालांकि, एक अपरिवर्तनीय ब्रह्मांड की मात्रा निर्धारित करना चाहते थे। Univariate उत्तल लॉगरिदमिक फ़ंक्शन का चयन करके, बोल्टज़मन ने अस्तित्व के लिए गैर-पक्षपाती होने का आरोप लगाया। एक नोटिस, उदाहरण के लिए, कि अधिकतम [-xlog {x}] = {1 / e}, 0.37, ताकि अनिश्चितता का माप पी के निचले मूल्यों की ओर तिरछा हो।

ऐसा लगता है कि शैनन ने बिना किसी कारण के लघुगणक को चुना। वह सिर्फ "स्मेल्ट" करता है कि उसे लघुगणक का उपयोग करना चाहिए। न्यूटन ने अपने सूत्र F = m * a में बहुगुणित संचालन क्यों चुना?

ध्यान दें कि उस समय, उसे एंट्रॉपी के बारे में कोई पता नहीं था :

मेरी सबसे बड़ी चिंता यह थी कि इसे क्या कहा जाए। मैंने इसे 'जानकारी' कहने के बारे में सोचा, लेकिन यह शब्द अत्यधिक इस्तेमाल किया गया था, इसलिए मैंने इसे 'अनिश्चितता' कहने का फैसला किया। जब मैंने जॉन वॉन न्यूमैन के साथ इस पर चर्चा की, तो उनके पास एक बेहतर विचार था। वॉन न्यूमैन ने मुझसे कहा, 'आपको इसे एंट्रोपी कहना चाहिए, दो कारणों से। पहले स्थान पर आपके अनिश्चित कार्य का उपयोग उस नाम के तहत सांख्यिकीय यांत्रिकी में किया गया है, इसलिए इसका पहले से ही एक नाम है। दूसरे स्थान पर, और अधिक महत्वपूर्ण बात, कोई नहीं जानता कि वास्तव में क्या एंट्रोपी है, इसलिए एक बहस में आपको हमेशा फायदा होगा।

तो मेरा जवाब है: इसका कोई कारण नहीं है। उन्होंने इसे चुना क्योंकि यह सिर्फ जादुई काम करता था।

Answer 10

एन्ट्रापी को बहुराष्ट्रीय गुणांक के ज्यामितीय माध्य के लघुगणक के रूप में परिभाषित किया गया है, जो एक प्रणाली के राज्यों की संख्या को व्यक्त करता है:

$$\log \sqrt[N]{N \choose n_1,\ldots,n_k}$$

लघुचित्र के स्टर्लिंग के उपयोग के बाद लघुगणक सूत्र में दिखाई देते हैं ( इस स्पष्टीकरण को देखें )

Comments

मेरा मानना ​​है कि ओपी जानता है कि लघुगणक परिभाषा का हिस्सा है। वे पूछते हैं कि ऐसा क्यों है?

— whuber

Answer 11

लॉग एक समारोह एच के व्युत्पन्न से आता है कुछ प्राकृतिक आवश्यकताओं को संतोषजनक। पीजी देखें। 3 सेक। इस स्रोत के 2:

http://www.lptl.jussieu.fr/user/lesne/MSCS-entropy.pdf

स्वयंसिद्धों को देखते हुए, यदि आप अनुकूलन को अंजाम देते हैं, तो आपको इसमें लॉग के साथ एक अनोखा (स्थिरांक) मिल जाता है।

उपरोक्त सभी उत्तर सही हैं, सिवाय इसके कि वे लॉग की व्याख्या करते हैं, लेकिन इसके स्रोत की व्याख्या नहीं करते हैं।

Answer 12

मुझे लगता है कि आपका प्रश्न उस लघुगणक के "अर्थ" के बारे में अधिक है और क्यों प्रत्येक घटक सूत्र के समग्र अर्थ में योगदान देता है, बजाय केवल औपचारिकता के कुछ परिभाषाओं की परिभाषा को दर्शाता है।

$p(x)$$-log(p(x))$

• $p(x)$
• $-log(p(x))$

$p(x)$$-log(p(x))$

---

अब से, मैं चर्चा करूँगा कि सामान्यता अंतिम एन्ट्रापी सूत्र को कैसे प्रभावित करती है।

$$log_2(x) = number\_of\_bits\_to\_encode\_the\_messages$$

अब, बैठो, आराम करो और देखो कि शैनन की एंट्रॉपी कितनी खूबसूरती से चालबाजी करती है: यह (उचित) धारणा पर आधारित है कि संदेश जो अधिक सामान्य हैं, परिणामस्वरूप, अधिक स्वतंत्र हैं।

उदाहरण के लिए, मैं कहूंगा कि बारिश हो रही है या तो यह एक औसत, भारी या बहुत भारी बारिश है। इस प्रकार, उन्होंने संदेशों की उत्पत्ति को इस बात पर आधारित करने का प्रस्ताव दिया कि वे कितने स्वतंत्र हैं ... और वहाँ आप जाते हैं:

$$log_2 N = -log_2 1/N = -log_2 P$$

$N$$x$

समीकरण की व्याख्या इस प्रकार की जा सकती है: दुर्लभ संदेशों की एन्कोडिंग अधिक होगी क्योंकि वे कम सामान्य होते हैं, इसलिए उन्हें एन्कोड किए जाने के लिए अधिक बिट्स की आवश्यकता होती है और कम जानकारीपूर्ण होती हैं। इसलिए, कई सामान्य और लगातार संदेशों की तुलना में अधिक विशिष्ट और दुर्लभ संदेश एंट्रोपी में अधिक योगदान देंगे।

---

$p(x)$$-log(p(x))$

सबसे अधिक एन्ट्रापी तब होती है जब हमारे पास कई दुर्लभ और विशिष्ट संदेशों वाला एक सिस्टम होता है। अक्सर और सामान्य संदेशों के साथ सबसे कम एन्ट्रापी। बीच में, हमारे पास एंट्रॉपी-समतुल्य प्रणालियों का एक स्पेक्ट्रम है जिसमें दुर्लभ और सामान्य संदेश या लगातार लेकिन विशिष्ट संदेश दोनों हो सकते हैं।

Answer 13

मुझे नहीं लगता कि यह आपको एक सार्वभौमिक "सहज" उत्तर देना संभव है। मैं आपको उत्तर दूंगा जो कुछ लोगों के लिए सहज है, जैसे भौतिक विज्ञानी। लॉगरिथम सिस्टम की औसत ऊर्जा प्राप्त करने के लिए है। यहाँ विवरण है।

शैनन ने एक शब्द " एन्ट्रॉपी " का उपयोग किया क्योंकि उन्होंने सांख्यिकीय यांत्रिकी से अवधारणा को अनुकूलित किया । सांख्यिकीय यांत्रिकी में बोल्ट्ज़मन के नाम पर एक मदरसा वितरण है । दिलचस्प है, यह मशीन सीखने में अब एक महत्वपूर्ण वितरण है !

बोल्ट्जमैन वितरण को रूप में लिखा जा सकता है

$$P=e^{\frac{a-E} b}$$ $a, b$$E$$dV$$V$$dV=dpdx$$x,p$$a,b$$\int_VPdV=1$$b$ सिस्टम के तापमान से मेल खाती है।

$\ln P\sim E$

$$S\equiv -\int_VP\ln P dV=<E>$$

$$\eta=-\sum_i P_i\ln P_i$$ $e^{-P_i}$

क्या यह सहज आपके लिए पर्याप्त है? यह मेरे लिए है, लेकिन मैं पिछले जीवन में एक सैद्धांतिक भौतिक विज्ञानी था। इसके अलावा, आप बोल्ट्जमैन और क्लॉसियस के तापमान और कार्यों जैसे पुराने थर्मोडायनामिक्स अवधारणाओं से जोड़कर अंतर्ज्ञान के एक गहरे स्तर तक जा सकते हैं ।