विभेदक एन्ट्रापी

गाऊसी आर.वी. का अंतर एन्ट्रापी है । इस पर निर्भर है, जो मानक विचलन है। $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

अगर हम रैंडम वेरिएबल को नॉर्मल कर देते हैं ताकि इसमें यूनिट वैरिएंट की डिफरेंशियल एन्ट्रापी ड्रॉप्स हो जाएं। मेरे लिए यह प्रति-सहज ज्ञान युक्त है क्योंकि एंट्रोपी में कमी की तुलना में स्थिर को सामान्य करने की कोलमोगोरोव जटिलता बहुत छोटी होनी चाहिए। एक बस एक एनकोडर डिकोडर को तैयार कर सकता है जो इस यादृच्छिक चर द्वारा उत्पन्न किसी भी डेटासेट को पुनर्प्राप्त करने के लिए सामान्य को स्थिर करने के साथ विभाजित / गुणा करता है।

शायद मेरी समझ बंद है। क्या आप कृपया मेरे दोष को बता सकते हैं?

information-theory entropy randomness

— कगदस ओजगेंक
स्रोत

मैं इस पर एक जाना होगा, हालांकि यह मेरे सिर से थोड़ा ऊपर है, इसलिए नमक के छिड़काव के साथ इलाज करें ...

तुम बिल्कुल गलत नहीं हो। मुझे लगता है कि जहां आपका सोचा प्रयोग गिरता है, वह अंतर एन्ट्रापी एन्ट्रापी का सीमित मामला नहीं है। मैं अनुमान लगा रहा हूं कि इस वजह से, इसके और कोलमोगोरोव जटिलता के बीच समानताएं खो गई हैं।

मान लीजिए कि हमारे पास एक असतत यादृच्छिक चर । के रूप में पदभार संक्षेप अपने सभी संभावित मान द्वारा इस प्रकार हम अपने शैनन एन्ट्रापी गणना कर सकते हैं , $X$ $x_i$

एच (एक्स) = - \underset{मैं}{Σ} पी (एक्स = {एक्स}_{मैं}) लॉग (पी (एक्स = {एक्स}_{मैं})) ।

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

अब तक उबाऊ। अब कहते हैं कि एक सतत यादृच्छिक चर का एक परिमाणित संस्करण है - कहते हैं, हमारे पास घनत्व फ़ंक्शन जो वास्तविक संख्याओं के सेट से नमूने उत्पन्न करता है, और हम इसे हिस्टोग्राम में बदल देते हैं। हमारे पास पर्याप्त हिस्टोग्राम होगा कि घनत्व फ़ंक्शन अनिवार्य रूप से रैखिक है। उस मामले में हम इस तरह एक एन्ट्रापी कुछ है करने के लिए जा रहे हैं, $X$ $p()$ जहांहमारे हिस्टोग्राम डिब्बे की चौड़ाई है औरप्रत्येक के मध्य है। हम चाहते हैं कि लघुगणक के अंदर एक उत्पाद है - चलो कि अलग और योग के बाहर ले जाने के लिए 1 के लिए संक्षेप संभाव्यता वितरण की संपत्ति का उपयोग करें, हमें दे रही है

एच (एक्स) \approx - \underset{मैं}{Σ} पी (एक्स = {एक्स}_{मैं}) δ एक्स लॉग (पी (एक्स = {एक्स}_{मैं}) δ एक्स),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

एच (एक्स) \approx - लॉग (δ एक्स) - \underset{मैं}{Σ} पी (एक्स = {एक्स}_{मैं}) δ एक्स लॉग (पी (एक्स = {एक्स}_{मैं})) ।

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

हम सीमा लेते हैं, दे और एकीकरण में योग मोड़, हमारे अनुमान सटीक हो जाता है और हम निम्नलिखित मिलता है, $\delta x \rightarrow dx$

एच (एक्स) = - लॉग (घ एक्स) - \int_{एक्स} पी (एक्स = एक्स) लॉग (पी (एक्स = एक्स)) घ एक्स ।

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{एक्स} पी (एक्स = एक्स) लॉग (\frac{पी (एक्स = एक्स)}{क्ष (एक्स = एक्स)}) घ एक्स

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— थपथपाना
स्रोत

धन्यवाद। यह तो बहुत ही मज़ेदार है। मुझे नहीं पता था कि सिद्धांत में ऐसी कोई नौटंकी थी।

— Cagdas Ozgenc

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@ कागदास - अगर मैं इसे एक नौटंकी कहूँगा तो मुझे पता नहीं है। यह सिर्फ एक अलग चीज को माप रहा है। और जैसा कि कार्डिनल बताते हैं, इसके कुछ उपयोग हैं। इस बात के लिए कि क्या यह द्विपद वितरण पर लागू होगा, ठीक है, निर्भर करता है कि आप इसे कैसे लागू करने जा रहे हैं :)। यदि आप निश्चित नहीं हैं तो संभवतः एक नया विषय शुरू करने के लायक है।

— पाट

मुझे लगा कि एन्ट्रापी स्पष्ट रूप से कोलमोगोरोव जटिलता से अलग है जब कोई छद्म यादृच्छिक संख्या जनरेटर मानता है।

— जेम्स बोवेरी