संभावना वितरण एक समान होने पर एन्ट्रॉपी को अधिकतम क्यों किया जाता है?

32

मुझे पता है कि एन्ट्रापी एक प्रक्रिया / चर की यादृच्छिकता का माप है और इसे निम्नानुसार परिभाषित किया जा सकता है। रैंडम वेरिएबल सेट : - । मैकाय द्वारा एंट्रॉपी एंड इंफॉर्मेशन थ्योरी की पुस्तक में, वह Ch2 में यह कथन प्रदान करता है $X \in$ $A$ $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

यदि पी एकरूप है तो एन्ट्रापी को अधिकतम किया जाता है।

सहज रूप से, मैं इसे समझने में सक्षम हूं, जैसे अगर सेट में सभी डेटा पॉइंट समान संभावना ( सेट की कार्डिनैलिटी) के साथ उठाए जाते हैं , तो यादृच्छिकता या एन्ट्रापी बढ़ जाती है। लेकिन अगर हम जानते हैं कि सेट में कुछ बिंदु दूसरों की तुलना में अधिक संभावना के साथ होने वाले हैं (सामान्य वितरण के मामले में, जहां डेटा बिंदुओं की अधिकतम एकाग्रता औसत और छोटे मानक विचलन क्षेत्र के आसपास होती है, तो यादृच्छिकता या एन्ट्रापी में कमी होनी चाहिए। $A$ $1/m$ $m$ $A$ $A$

लेकिन क्या इसके लिए कोई गणितीय प्रमाण है? लिए समीकरण की तरह मैं इसे संबंध में अंतर करता हूं और इसे 0 या कुछ इस तरह सेट करता हूं । $H(X)$ $p(x)$

एक तरफ ध्यान दें, क्या सूचना सिद्धांत और रसायन विज्ञान (ऊष्मप्रवैगिकी) में एन्ट्रापी गणना के बीच एन्ट्रापी के बीच कोई संबंध है?

uniform entropy maximum-entropy

— user76170
स्रोत

2

इस सवाल का जवाब है (पास करने में ) ysts.stackexchange.com/a/49174/919 पर ।

— व्हिबर

मैं क्रिस्टोफर बिशप की किताब में दिए गए एक अन्य बयान से काफी भ्रमित हो रहा हूं, जिसमें कहा गया है कि "एक एकल वास्तविक चर के लिए, जो एन्ट्रापी को अधिकतम करता है वह वितरण गॉसियन है।" इसमें यह भी कहा गया है कि "किसी दिए गए सहसंयोजक के लिए अधिक से अधिक इम्युन एन्ट्रापी के साथ बहुभिन्नरूपी वितरण, एक गाऊसी है"। यह कथन कैसे मान्य है? वर्दी वितरण की एन्ट्रापी हमेशा अधिकतम नहीं होती है?

— user76170

6

अधिकतमकरण को हमेशा संभव समाधान पर बाधाओं के अधीन किया जाता है। जब बाधाएं होती हैं कि सभी संभावनाएं पूर्वनिर्धारित सीमाओं से परे गायब हो जानी चाहिए, तो अधिकतम एन्ट्रापी समाधान एक समान है। जब बाधाओं के बजाय उम्मीद और विचरण को पूर्वनिर्धारित मूल्यों के बराबर होना चाहिए, तो एमई समाधान गाऊसी है। आपके द्वारा उद्धृत बयान विशेष संदर्भों के भीतर किए गए होंगे जहां इन बाधाओं को कहा गया था या कम से कम अंतर्निहित रूप से समझा गया था।

— whuber

2

मुझे शायद यह भी उल्लेख करना चाहिए कि शब्द "एन्ट्रॉपी" का मतलब है कि गॉसियन सेटिंग में कुछ अलग है जो कि यहां मूल प्रश्न में है, इसके लिए हम निरंतर वितरण के एन्ट्रॉपी पर चर्चा कर रहे हैं । यह "अंतर एन्ट्रापी" असतत वितरण के एन्ट्रापी की तुलना में एक अलग जानवर है। मुख्य अंतर यह है कि चर के परिवर्तन के तहत अंतर एन्ट्रापी अपरिवर्तनीय नहीं है।

— whuber

तो इसका मतलब है कि अधिकतमकरण हमेशा बाधाओं के संबंध में है? अगर कोई अड़चन न हो तो क्या होगा? मेरा मतलब है, इस तरह से एक सवाल नहीं हो सकता? किस संभावना वितरण में अधिकतम एन्ट्रापी है?

— user76170

25

स्वाभाविक रूप से, पर प्रायिकता घनत्व कार्य करता है $\{x_1, x_2,..,.x_n\}$ अधिकतम एन्ट्रापी के साथ वह निकलता है जो के ज्ञान की कम से कम मात्रा से मेल खाता है $\{x_1, x_2,..,.x_n\}$ , दूसरे शब्दों में समान वितरण।

अब, अधिक औपचारिक प्रमाण के लिए निम्नलिखित पर विचार करें:

पर एक प्रायिकता घनत्व फ़ंक्शन $\{x_1, x_2,..,.x_n\}$ नॉनगेटिव रियल नंबर का एक सेट है $p_1,...,p_n$ कि 1. Entropy को जोड़ने की एक सतत समारोह है $n$ -tuples $(p_1,...,p_n)$ , और इन बिंदुओं में से एक कॉम्पैक्ट सबसेट में झूठ $\mathbb{R}^n$ , तो एक है $n$ -टुपल जहां एन्ट्रापी को अधिकतम किया जाता है। हम इस पर होता है दिखाना चाहते हैं और कहीं नहीं। $(1/n,...,1/n)$

मान लीजिए सभी समान नहीं हैं, तो कहें । (जाहिर है ।) हम उच्च एन्ट्रापी के साथ एक नया प्रायिकता घनत्व मिल जाएगा। यह तो इस प्रकार के बाद से एन्ट्रापी कुछ पर बड़ा किया गया है, , -tuple कि एन्ट्रापी विशिष्ट पर बड़ा किया गया है के साथ -tuple सभी के लिए । $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

के बाद से छोटे सकारात्मक के लिए, हम । की एन्ट्रापी की एन्ट्रापी माइनस $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ बराबर $\{p_1,p_2,p_3,...,p_n\}$

प्रमाण पूरा करने के लिए, हम इस छोटे से पर्याप्त के लिए सकारात्मक है दिखाना चाहते हैं। के रूप में उपरोक्त समीकरण पुनर्लेखन

- p_{1} \log (\frac{p_{1} + ε}{p_{1}}) - ε \log (p_{1} + ε) - p_{2} \log (\frac{p_{2} - ε}{p_{2}}) + ε \log (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

कि याद करते हुए छोटे के लिए , उपरोक्त समीकरण है जो सकारात्मक जब है $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε \log p_{1} + ε + ε \log p_{2} + O (ε^{2}) = ε \log (p_{2} / p_{1}) + O (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

के बाद से छोटे पर्याप्त है

।

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

एक कम कठोर प्रमाण निम्नलिखित है:

पहले निम्नांकित पर विचार करें:

चलो और को एक अंतराल पर निरंतर प्रायिकता घनत्व कार्यों हो वास्तविक संख्या में, साथ और पर । हम अगर दोनों अभिन्न मौजूद हैं। इसके अलावा, समानता है अगर और केवल अगर $p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{I} p \log p d x \leq - \int_{I} p \log q d x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

सभी

।

p (x) = q (x)

$p(x) = q(x)$

x

$x$

अब, को किसी भी प्रायिकता घनत्व फ़ंक्शन , । दे सभी के लिए , $p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$ जो कि की एन्ट्रॉपी है। इसलिए हमारे लेम्मा कहते हैं , समानता यदि और केवल यदि साथ एक समान है।

- Σ_{मैं = 1}^{n} {पी}_{मैं} लॉग {क्ष}_{मैं} = Σ_{मैं = 1}^{n} {पी}_{मैं} लॉग n = लॉग n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

इसके अलावा, विकिपीडिया की इस पर एक संक्षिप्त चर्चा है: विकी

— mitchus
स्रोत

11

मैं एक प्राथमिक (पथरी-मुक्त) प्रमाण प्रस्तुत करने के प्रयास की प्रशंसा करता हूं। एक कठोर एक पंक्ति का प्रदर्शन माध्यम से उपलब्ध है भारित AM-जीएम असमानता है कि ध्यान देने योग्य बात से

=

\exp (H)

$\exp(H)$

समानता रखने के साथ iff सभी

बराबर हैं, QED।

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

— whuber

मुझे समझ नहीं आता कैसे

के बराबर हो सकता है

।

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

— user1603472

4

@ user1603472 आप मतलब है

? इसकी वजह से

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

— HBeel

@ रोलैंड मैंने राशि के बाहर

खींचा क्योंकि यह

पर निर्भर नहीं है । तब योग

बराबर होता है क्योंकि

प्रायिकता द्रव्यमान फलन के घनत्व होते हैं।

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

— HBeel

अधिक विवरण के साथ एक ही स्पष्टीकरण यहां पाया जा सकता है: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— रोलैंड

14

भौतिकी और सूचना सिद्धांत में एन्ट्रापी असंबंधित नहीं हैं। वे नाम से अधिक भिन्न हैं, फिर भी उनके बीच स्पष्ट रूप से एक कड़ी है। एंट्रोपी मीट्रिक का उद्देश्य सूचना की मात्रा को मापना है। ग्राफ के साथ मेरा जवाब देखें कि एक समान आकार में एक समान वितरण से एंट्रॉपी कैसे बदलती है।

एक समान वितरण के लिए एन्ट्रॉपी को अधिकतम करने का कारण यह है कि यह ऐसा डिजाइन किया गया था! हां, हम जानकारी की कमी के लिए एक उपाय का निर्माण कर रहे हैं, इसलिए हम कम से कम सूचनात्मक वितरण के लिए इसके उच्चतम मूल्य को असाइन करना चाहते हैं।

उदाहरण। मैंने आपसे पूछा " यार, मेरी कार कहाँ है ?" आपका जवाब "यह संयुक्त राज्य अमेरिका में अटलांटिक और प्रशांत महासागरों के बीच कहीं है।" यह समान वितरण का एक उदाहरण है। मेरी कार अमरीका में कहीं भी हो सकती है। मुझे इस उत्तर से ज्यादा जानकारी नहीं मिली।

हालाँकि, अगर आपने मुझे बताया कि "मैंने आपकी कार को एक घंटे पहले वाशिंगटन, डीसी से रूट 66 पर देखा था" - यह अब एक समान वितरण नहीं है। लॉस एंजिल्स के आसपास कहीं भी, कार की डीसी से 60 मील की दूरी पर होने की अधिक संभावना है। यहाँ स्पष्ट रूप से अधिक जानकारी है।

इसलिए, हमारे उपाय में पहले उत्तर के लिए उच्च एन्ट्रापी और दूसरे के लिए कम एक होना चाहिए। वर्दी कम से कम जानकारीपूर्ण वितरण होनी चाहिए, यह मूल रूप से "मुझे कोई पता नहीं है" उत्तर है।

— Aksakal
स्रोत

7

गणितीय तर्क अवतल कार्यों के लिए जेनसन असमानता पर आधारित है। वह है, अगर $f(x)$ एक अवतल कार्य है $[a,b]$ तथा $y_1, \ldots y_n$ में बिंदु हैं $[a,b]$ , फिर: $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

अवतल फ़ंक्शन के लिए इसे लागू करें $f(x) = -x \log(x)$ और जेन्सन असमानता के लिए $y_i = p(x_i)$ और आपके पास सबूत है। ध्यान दें कि $p(x_i)$ असतत संभाव्यता वितरण को परिभाषित करें, इसलिए उनका योग 1. वह है जो आपको मिलता है $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$ , समान वितरण के लिए समानता के साथ।

— ऑक्टेवियन गणिया
स्रोत

1

मुझे वास्तव में जेन्सन की असमानता का प्रमाण एएम-जीएम एक की तुलना में बहुत गहरा सबूत है।

— केसबश

4

एक तरफ ध्यान दें, क्या सूचना सिद्धांत और रसायन विज्ञान (ऊष्मप्रवैगिकी) में एन्ट्रापी गणना के बीच एन्ट्रापी के बीच कोई संबंध है?

हाँ वहाँ है! आप जेन्स और कई अन्य लोगों के काम को देख सकते हैं (जैसे कि यहां और यहां , उदाहरण के लिए)।

लेकिन मुख्य विचार यह है कि सांख्यिकीय यांत्रिकी (और विज्ञान के अन्य क्षेत्रों में भी) को हम दुनिया के बारे में अनुमान के रूप में देखा जा सकता है ।

एक और पढ़ने के रूप में मैं इस विषय पर एरियल कैटिचा की पुस्तक की सिफारिश करूंगा ।

— kaslusimoes
स्रोत

1

एक सहज व्याख्या:

यदि हम एक यादृच्छिक चर की एक घटना में अधिक संभावना द्रव्यमान डालते हैं, तो हमें कुछ अन्य घटनाओं से दूर ले जाना होगा। एक में कम सूचना सामग्री और अधिक वजन होगा, अन्य में अधिक जानकारी सामग्री और कम वजन होगा। इसलिए, अपेक्षित सूचना सामग्री एंट्रोपी नीचे चली जाएगी क्योंकि कम सूचना सामग्री वाली घटना अधिक भारित होगी।

एक चरम मामले के रूप में एक घटना की कल्पना लगभग एक की संभावना हो रही है, इसलिए अन्य घटनाओं में लगभग शून्य की संयुक्त संभावना होगी और एन्ट्रापी बहुत कम होगी।

— रोलाण्ड
स्रोत

0

मुख्य विचार: प्रत्येक का आंशिक व्युत्पन्न लेना $p_i$ , उन सभी को शून्य पर सेट करें, रैखिक समीकरणों की प्रणाली को हल करें।

का एक परिमित संख्या लें $p_i$ कहा पे $i=1,...,n$ एक उदाहरण के लिए। निरूपित $q = 1-\sum_{i=0}^{n-1} p_i$ ।

\begin{aligned} एच & = - Σ_{मैं = 0}^{n - 1} {पी}_{मैं} लॉग {पी}_{मैं} - (1 - क्ष) लॉग क्ष \\ एच * \ln 2 & = - Σ_{मैं = 0}^{n - 1} {पी}_{मैं} \ln {पी}_{मैं} - (1 - क्ष) \ln क्ष \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial एच}{\partial {पी}_{मैं}} & = \ln \frac{क्ष}{{पी}_{मैं}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$ फिर

q = p_{i}

$q = p_i$ हर एक के लिए

i

$i$ , अर्थात,

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$ ।

— जन फैन
स्रोत

मुझे खुशी है कि आपने बताया कि यह "मुख्य विचार" है, क्योंकि यह केवल विश्लेषण का एक हिस्सा है। दूसरा हिस्सा - जो सहज नहीं हो सकता है और वास्तव में थोड़ा पेचीदा है - यह सत्यापित करना है कि एक या एक से अधिक के रूप में एन्ट्रापी के व्यवहार का अध्ययन करके एक वैश्विक न्यूनतम है

p_{i}

$p_i$ सिकुड़ता शून्य।

— whuber