एन्ट्रापी हमें क्या बताती है?

Question

मैं एन्ट्रॉपी के बारे में पढ़ रहा हूं और निरंतर मामले में इसका क्या अर्थ है, इस पर विचार करते हुए एक कठिन समय आ रहा है। विकी पेज निम्नलिखित बताता है:

घटनाओं की संभाव्यता वितरण, हर घटना की जानकारी राशि के साथ मिलकर, एक यादृच्छिक चर बनाता है जिसका अपेक्षित मूल्य इस वितरण द्वारा उत्पन्न जानकारी की औसत मात्रा, या एन्ट्रापी है।

इसलिए अगर मैं एक संभावित वितरण से जुड़ी एन्ट्रापी की गणना करता हूं जो निरंतर है, तो वह वास्तव में मुझे क्या बता रही है? वे सिक्कों को लहराने के बारे में एक उदाहरण देते हैं, इसलिए असतत मामला है, लेकिन अगर एक उदाहरण के माध्यम से समझाने के लिए एक सहज तरीका है, तो निरंतर मामले में, यह बहुत अच्छा होगा!

यदि यह मदद करता है, एक सतत यादृच्छिक चर लिए एन्ट्रॉपी की परिभाषा निम्नलिखित है:$X$

$$H(X)=-\int P(x)\log_b P(x)dx$$ जहाँ एक प्रायिकता वितरण फ़ंक्शन है।$P(x)$

---

इसे और अधिक ठोस बनाने के लिए, के मामले पर विचार करें , फिर विकिपीडिया के अनुसार , एंट्रॉपी है$X\sim \text{Gamma}(\alpha,\beta)$

$$\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align}$$

और इसलिए अब हमने एक निरंतर वितरण (गामा वितरण) के लिए एन्ट्रॉपी की गणना की है और इसलिए यदि मैं अब उस अभिव्यक्ति, , दिए गए और मूल्यांकन करता हूं, तो वह मात्रा वास्तव में मुझे क्या बताती है? $H(X)$$\alpha$$\beta$

Comments

(+1) यह उद्धरण वास्तव में दुर्भाग्यपूर्ण संदर्भ है। यह एन्ट्रापी की गणितीय परिभाषा का वर्णन करने और व्याख्या करने के लिए एक श्रमसाध्य और अपारदर्शी तरीके से प्रयास कर रहा है। यह परिभाषा । इसे की अपेक्षा के रूप में देखा जा सकता है जहाँ एक यादृच्छिक चर का pdf है । यह चिह्नित करने के लिए प्रयास कर रहा है "जानकारी की मात्रा" के साथ नंबर जुड़े के रूप में । $\int f(x)\log(f(x))dx$$\log(f(X))$$f$$X$$\log(f(x))$$x$

— व्हीबर

यह पूछने के लायक है, क्योंकि एक नाजुक लेकिन महत्वपूर्ण तकनीकी मुद्दा है: एन्ट्रापी के निरंतर संस्करण में असतत संस्करण के समान गुणों का आनंद नहीं लिया जाता है (जिसमें जानकारी के संदर्भ में एक प्राकृतिक, सहज ज्ञान युक्त अंतर्ज्ञान होता है)। @ AFAIK, गणित पर वह सूत्र केवल असतत मामले को संबोधित करता है।

— फुबेर

@RustyStatistician के बारे में सोचते हैं कि आप यह बता रहे हैं कि परिणाम x कितना आश्चर्यजनक था। फिर आप अपेक्षित आश्चर्य की गणना कर रहे हैं। $-\log\left(f\left(x\right)\right)$

— एड्रियन

तकनीकी समस्या को पुन: देखें। देखें, यह रुचि का हो सकता है।

— शॉन ईस्टर

यदि आप तकनीकी में रुचि रखते हैं: एन्ट्रॉपी एक छद्म-मेट्रिक है जिसे कुलबबैक-लीबलर विचलन कहा जाता है जिसका उपयोग उनके संबंधित माप की घटनाओं के बीच की दूरी का वर्णन करने के लिए किया जाता है, देखें projecteuclid.org/suclid.aoms/1177729694 मूल के लिए ( और कुलबबैक और लिब्लर द्वारा ग्राउडब्रेकिंग) पेपर। यह अवधारणा एआईसी और बीआईसी जैसे मॉडल चयन मानदंडों में भी दिखाई देती है।

— जेरेमीस के

Answer 1

एंट्रोपी आपको बताता है कि सिस्टम में कितनी अनिश्चितता है। मान लीजिए कि आप एक बिल्ली की तलाश कर रहे हैं, और आप जानते हैं कि यह आपके घर और पड़ोसियों के बीच कहीं है, जो 1 मील दूर है। अपने बच्चों आपको बता दूँ कि एक बिल्ली पर दूरी जा रहा है की संभावना अपने घर से से सबसे अच्छा वर्णन किया गया है बीटा वितरण च ( एक्स , 2 , 2 ) । तो एक बिल्ली 0 और 1 के बीच कहीं भी हो सकता है, लेकिन अधिक होने की संभावना बीच, यानी में होने की एक्स हूँ एक एक्स = 1 / 2 ।$x$ $f(x;2,2)$$x_{max}=1/2$

आइए अपने वितरण में बीटा वितरण को प्लग करें, फिर आपको मिलता है ।$H=-0.125$

इसके बाद, आप अपनी पत्नी से पूछते हैं और वह आपको बताती है कि आपकी बिल्ली के ज्ञान का वर्णन करने के लिए सबसे अच्छा वितरण एक समान वितरण है। यदि आप इसे अपने एन्ट्रापी समीकरण में प्लग करते हैं, तो आपको मिलता है ।$H=0$

दोनों समान और बीटा वितरण बिल्ली को आपके घर से 0 और 1 मील के बीच कहीं भी रहने देते हैं, लेकिन वर्दी में अधिक अनिश्चितता है, क्योंकि आपकी पत्नी के पास वास्तव में कोई सुराग नहीं है जहां बिल्ली छिप रही है, जबकि बच्चों को कुछ पता है , उन्हें लगता है कि यह अधिक है बीच में कहीं होने की संभावना है। यही कारण है कि बीटा की एन्ट्रॉपी यूनिफॉर्म की तुलना में कम है।

आप अन्य वितरण कोशिश कर सकते हैं, हो सकता है अपने पड़ोसी आपको बताता है कि बिल्ली के घरों में से किसी के पास होने के लिए पसंद है, इसलिए उसकी बीटा वितरण के साथ है । इसका एच फिर से वर्दी की तुलना में कम होना चाहिए, क्योंकि आपको एक बिल्ली के लिए कहां देखना है, इसके बारे में कुछ पता है। लगता है कि क्या आपके पड़ोसी की जानकारी आपके बच्चों की तुलना में अधिक या कम है? मैं इन मामलों में किसी भी दिन बच्चों पर शर्त लगाता हूँ।$\alpha=\beta=1/2$$H$

अद्यतन करें:

यह कैसे काम करता है? इस पर विचार करने का एक तरीका एक समान वितरण के साथ शुरू करना है। यदि आप सहमत हैं कि यह सबसे अनिश्चितता वाला एक है, तो इसे परेशान करने के बारे में सोचें। आइए सादगी के लिए असतत मामले को देखें। लो एक बिंदु से और एक अन्य के लिए इसे जोड़ने इस प्रकार की तरह: पी ' मैं = पी - Δ पी पी ' j = पी + Δ $\Delta p$

$$p_i'=p-\Delta p$$ $$p_j'=p+\Delta p$$

अब, चलो देखते हैं कि कैसे एन्ट्रापी परिवर्तन: = पी ln पी - पी ln [ पी ( 1 - Δ पी / पी ) ]

$$H-H'=p_i\ln p_i-p_i\ln (p_i-\Delta p)+p_j\ln p_j-p_j\ln (p_j+\Delta p)$$ = - ln ( 1 - Δ पी / पी ) - ln ( 1 + Δ पी / पी ) > 0 यह साधन समान वितरण से किसी भी अशांति को कम कर देता है कि एन्ट्रापी (अनिश्चितता)। निरंतर मामले में समान दिखाने के लिए, मुझे इस रेखा के साथ रूपांतरों या किसी चीज़ का उपयोग करना होगा, लेकिन आपको उसी तरह का परिणाम मिलेगा, सिद्धांत रूप में। $$=p\ln p-p\ln [p(1-\Delta p/p)]+p\ln p-p\ln [p(1+\Delta p/p)]$$ $$=-\ln (1-\Delta p/p)-\ln (1+\Delta p/p)>0$$

$n$$n\to\infty$$n$$n=1$$n=13$

x = 0:0.01:1;
for k=1:5
    i = 1 + (k-1)*3;
    idx(k) = i;
    f = @(x)bates_pdf(x,i);
    funb=@(x)f(x).*log(f(x));
    fun = @(x)arrayfun(funb,x);
    h(k) = -integral(fun,0,1);
    subplot(1,5+1,k)

    plot(x,arrayfun(f,x))
    title(['Bates(x,' num2str(i) ')'])
    ylim([0 6])
end

subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'

Comments

(+1) मैं दूसरों की व्याख्याओं को देखने की प्रतीक्षा करूंगा लेकिन मुझे वास्तव में यह पसंद है। तो ऐसा लगता है कि एंट्री का उपयोग करने में सक्षम होने के लिए निश्चितता के एक उपाय के रूप में आपको अन्य वितरणों के खिलाफ तुलना करने की आवश्यकता है? यानी, संख्या अपने आप आपको ज्यादा नहीं बताती है?

— RustyStatistician

@RustyStatistician, मैं यह नहीं कहूँगा कि इसका पूर्ण मूल्य पूरी तरह से व्यर्थ है। लेकिन, यह सबसे उपयोगी है जब सिस्टम की स्थिति की तुलना करने के लिए उपयोग किया जाता है। एन्ट्रापी को आंतरिक करने का आसान तरीका यह है कि इसे अनिश्चितता के

— अक्सकाल

इस उत्तर के साथ समस्या यह है कि "अनिश्चितता" शब्द अपरिभाषित है।

— kjetil b halvorsen

यह शब्द अनिश्चित है

— अक्कल

यह बहुत अच्छा है।

— एस्ट्रिड

Answer 2

मैं इस प्रश्न का सीधा उत्तर जोड़ना चाहूंगा:

वह मात्रा वास्तव में मुझे क्या बताती है?

यह स्पष्ट करने के लिए सहज है कि असतत परिदृश्य में। मान लीजिए कि आप एक भारी पक्षपातपूर्ण सिक्के को उछालते हैं, यह कहते हुए कि प्रत्येक फ्लिप पर एक सिर को देखने की संभावना 0.99 है। प्रत्येक वास्तविक फ्लिप आपको बहुत कम जानकारी बताता है क्योंकि आप लगभग पहले से ही जानते हैं कि यह प्रमुख होगा। लेकिन जब यह एक उचित सिक्के की बात आती है, तो आपके लिए यह मुश्किल नहीं है कि आप किसी भी तरह की मूर्खता की उम्मीद करें, तो हर फ्लिप आपको किसी भी अधिक पक्षपाती सिक्के की तुलना में अधिक जानकारी बताता है। एकल टॉस का अवलोकन करके प्राप्त जानकारी की मात्रा को साथ बराबर किया गया है$\log \frac{1}{p(x)}$

$E \log \frac{1}{p(x)} = \sum p(x) \log \frac{1}{p(x)}$