अनुभवजन्य एन्ट्रॉपी क्या है?

संयुक्त रूप से विशिष्ट सेटों की परिभाषा में ("सूचना सिद्धांत के तत्व", ch। 7.6, पृष्ठ 195) में, हम उपयोग करते हैं

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$ रूप में साथ परिणाम का अनुभवजन्य एन्ट्रापी । मैं इस शब्दावली से पहले कभी नहीं आया था। यह पुस्तक के सूचकांक के अनुसार स्पष्ट रूप से कहीं भी परिभाषित नहीं है।

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

मेरा प्रश्न मूल रूप से है: अनुभवजन्य एन्ट्रापी क्यों नहीं है जहाँ अनुभवजन्य वितरण है? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

इन दो सूत्रों के बीच सबसे दिलचस्प अंतर और समानताएं क्या हैं? (गुणों के संदर्भ में वे साझा करते हैं / साझा नहीं करते हैं)।

information-theory entropy

— blubb
स्रोत

दो भाव समान रूप से समान नहीं हैं?

— whuber

@ शुभकर्ता: नहीं, वे अलग-अलग मात्राएँ हैं, विभिन्न उद्देश्यों के साथ, मेरा मानना है। ध्यान दें कि पहले सही माप का उपयोग करता है जिसे एक प्राथमिकता के रूप में जाना जाता है। दूसरा नहीं करता।

p

$p$

— कार्डिनल

पूर्व का संबंध समय के साथ एन्ट्रॉपी के संचय से है और यह सिस्टम के वास्तविक एन्ट्रापी से कैसे तुलना करता है। एसएलएलएन और सीएलटी एक बहुत कुछ बताते हैं कि यह कैसे व्यवहार करता है। दूसरा डेटा से एन्ट्रॉपी का अनुमान लगाने से संबंधित है और इसके कुछ गुणों को केवल उल्लेख किए गए दो उपकरणों के माध्यम से भी प्राप्त किया जा सकता है। लेकिन, जबकि पहला निष्पक्ष है, दूसरा किसी भी तहत नहीं है । मैं कुछ विवरण भर सकता हूं यदि यह सहायक होगा।

p

$p$

— कार्डिनल

@कार्डिनल: यदि आप उक्त टिप्पणी को उत्तर के रूप में प्रदान करते हैं (शायद यह भी बताएं कि SLLN और CLT क्या हैं? - मुझे ये नहीं पता) मैं ख़ुशी से

— बढ़ जाऊंगा

ठीक है, मैं बाद में और पोस्ट करने की कोशिश करूंगा। इस बीच, SLLN = "बड़ी संख्या का मजबूत कानून" और CLT = "केंद्रीय सीमा प्रमेय"। ये काफी मानक संक्षिप्ताक्षर हैं जिनकी संभावना है कि आपका फिर से सामना होगा। चीयर्स। :)

— कार्डिनल

जवाबों:

यदि डेटा है , यह है कि, एक एक नमूना अंतरिक्ष से -sequence , अनुभवजन्य बिंदु संभावनाओं हैं लिए । यहाँ एक है अगर और शून्य अन्यथा। यही है, मनाया अनुक्रम में की सापेक्ष आवृत्ति है । अनुभवजन्य बिंदु संभावनाओं द्वारा दिए गए प्रायिकता वितरण की एन्ट्रापी है $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$

\hat{p} (x) = \frac{1}{n} | {i ∣ x_{i} = x} | = \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

H (\hat{p}) = - \sum_{x \in X} \hat{p} (x) \log \hat{p} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{i = 1}^{n} δ_{x} (x_{i}) \log \hat{p} (x) = - \frac{1}{n} \sum_{i = 1}^{n} \log \hat{p} (x_{i}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$ बाद की पहचान दो और उस इससे हम देखते हैं कि with और प्रश्न से शब्दावली का उपयोग करना यह अनुभवजन्य संभाव्यता वितरण का अनुभवजन्य एन्ट्रॉपी है । जैसा कि @cardinal ने एक टिप्पणी में कहा है,

\sum_{x \in X} δ_{x} (x_{i}) \log \hat{p} (x) = \log \hat{p} (x_{i}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

H (\hat{p}) = - \frac{1}{n} \log \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ बिंदु संभावनाओं

साथ किसी दिए गए प्रायिकता वितरण का अनुभवजन्य एन्ट्रापी है

p

$p$ ।

— NRH
स्रोत

(+1) यह इस बात का एक अच्छा चित्रण प्रदान करता है कि कवर और थॉमस एंट्रोपी के "अजीब आत्म-संदर्भित चरित्र" के रूप में क्या संदर्भित करते हैं। हालांकि, मुझे यकीन नहीं है कि उत्तर वास्तव में (सीधे) ओपी की स्पष्ट चिंताओं को संबोधित करता है। :)

— कार्डिनल

@ कार्डिनल, मुझे पता है, और इस विशेष बिंदु को बनाने के लिए जवाब सिर्फ एक लंबी टिप्पणी थी। मैं आपकी बातों को दोहराना नहीं चाहता था।

— एनआरएच

आपको मेरी टिप्पणियों या अन्य लोगों पर विस्तार सहित अपना खुद का जवाब बुरा या संकोच नहीं करना चाहिए। मैं उत्तर पोस्ट करने के बारे में विशेष रूप से धीमा और बुरा हूं, और कभी भी अपराध नहीं करेगा यदि आप या अन्य ऐसे उत्तर पोस्ट करते हैं जो उन चीजों के पहलुओं को शामिल करते हैं जिन पर मैंने पहले संक्षेप में टिप्पणी की हो सकती है। बिल्कुल इसके विपरीत, वास्तव में। चीयर्स।

— कार्डिनल

एन्ट्रापी को संभाव्यता वितरण के लिए परिभाषित किया गया है। जब आपके पास एक नहीं है, लेकिन केवल डेटा है, और संभावना वितरण के एक भोले अनुमानक में प्लग करते हैं, तो आपको अनुभवजन्य एंट्री मिलती है। यह असतत (बहुराष्ट्रीय) वितरणों के लिए सबसे आसान है, जैसा कि एक अन्य उत्तर में दिखाया गया है, लेकिन बिनिंग, आदि द्वारा अन्य वितरणों के लिए भी किया जा सकता है।

अनुभवजन्य एन्ट्रॉपी के साथ एक समस्या यह है कि यह छोटे नमूनों के लिए पक्षपाती है। संभावना वितरण का भोला अनुमान नमूना शोर के कारण अतिरिक्त भिन्नता दिखाता है। बेशक, एक बेहतर अनुमानक का उपयोग कर सकता है, उदाहरण के लिए, बहुराष्ट्रीय मापदंडों के लिए एक उपयुक्त पूर्व, लेकिन वास्तव में निष्पक्ष होना आसान नहीं है।

उपरोक्त सशर्त वितरण पर भी लागू होता है। इसके अलावा, सब कुछ बिनिंग (या कर्नेलाइजेशन) के सापेक्ष है, इसलिए आपके पास वास्तव में एक प्रकार का अंतर एन्ट्रापी है।

— scellus
स्रोत

हम यहाँ क्या अनुभवजन्य entropy के रूप में उल्लेख कर रहे हैं के साथ सावधान रहना चाहिए । ध्यान दें कि सभी नमूना आकारों के लिए प्लग-इन अनुमानक हमेशा पक्षपाती होता है, हालांकि नमूना आकार बढ़ने पर पूर्वाग्रह घट जाएगा। एन्ट्रापी के लिए निष्पक्ष अनुमान लगाने वालों के लिए न केवल मुश्किल है, बल्कि सामान्य मामले में असंभव है। पिछले कई वर्षों में इस क्षेत्र में काफी गहन शोध हुए हैं, खासकर तंत्रिका विज्ञान साहित्य में। वास्तव में बहुत सारे नकारात्मक परिणाम मौजूद हैं।

— कार्डिनल