एक राशि के एन्ट्रापी पर

मैं दो स्वतंत्र असतत यादृच्छिक चर और के योग के एन्ट्रापी पर एक बाध्यता की तलाश में हूं । स्वाभाविक रूप से, हालांकि, स्वतंत्र बर्नौली यादृच्छिक चर के योग पर लागू होता है , यह देता है दूसरे शब्दों में, बाध्य बार-बार लागू होने पर साथ रैखिक रूप से बढ़ता है । हालाँकि, को आकार सेट पर समर्थित किया गया है , इसलिए इसकी एंट्रोपी अधिकांश । वास्तव में, केंद्रीय सीमा प्रमेय द्वारा, मैं यह अनुमान लगा रहा हूं $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n एच ({जेड}_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$ क्योंकि यह अनिवार्य रूप से आकार सेट पर समर्थित है ।

\sqrt{n}

$\sqrt{n}$

संक्षेप में, बाउंड इस स्थिति में काफी हद तक ओवरशूट करता है। इस ब्लॉग पोस्ट को ख़त्म करने से , मैं पर सभी प्रकार की सीमाएँ इकट्ठा कर सकता हूँ; क्या कोई बाध्य है जो बर्नौली यादृच्छिक चर के योग के लिए बार-बार लागू होने पर सही स्पर्शोन्मुख (या, कम से कम, अधिक उचित स्पर्शोन्मुख) देता है? $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— रॉबिन्सन
स्रोत

मुझे यकीन नहीं है कि आप वास्तव में क्या पूछ रहे हैं। यदि आप H (X) और H (Y) के संदर्भ में H (X + Y) पर एक ऊपरी सीमा चाहते हैं जो कि किसी भी दो स्वतंत्र असतत यादृच्छिक चर X और Y पर लागू है, तो H (X + Y) ≤H (X) ) + एच (वाई) स्पष्ट रूप से सबसे अच्छा आप प्राप्त कर सकते हैं; उस मामले पर विचार करें जहां sums x + y तब अलग होते हैं जब x, Y के समर्थन पर x और y पर्वतमाला के ऊपर होता है। यदि आप इस सामान्य सीमा को किसी विशेष मामले में लागू करते हैं, तो यह स्वाभाविक है कि आप बहुत ढीली बंधी हुई।

— त्सुयोशी इतो

@TsuyoshiIto - ठीक है, एक उत्तर के लिए एक संभावना जो महान होगी वह असमानता होगी जैसे जहां शून्य के बाद की शर्तें शून्य हैं। वर्णन करें और बर्नौली यादृच्छिक चर के योग के मामले में साथ बेहतर स्केलिंग देने के लिए जोड़ें ...

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

— रॉबिन्सन

... यह मुझे लगता है कि जैसी असमानताओं का अस्तित्व कम से कम प्रशंसनीय है कि मैं जिस उत्तर की तलाश कर रहा हूं वह मौजूद है।

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

— रॉबिन्सन

इसका मतलब है कि आप जो देख रहे हैं वह एच (एक्स) और एच (वाई) के संदर्भ में एच (एक्स + वाई) पर एक ऊपरी बाध्य नहीं है । कृपया प्रश्न संपादित करें।

— त्सुयोशी इतो

मैं इस मामले में जहां प्रत्येक के विचरण में लगता है की तुलना में छोटा है अपने अनुमान सही जवाब है, और बेरी-Esseen प्रमेय का उपयोग सटीक बनाने के लिए कठिन नहीं है

Z_{i}

$Z_i$

n

$n$

— Sasho निकोलोव

$X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

$|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

$|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

$A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— बोअज बराक
स्रोत

$n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
स्रोत

शायद आप समीकरण का उपयोग कर सकते हैं:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

यह आपको टिप्पणियों में उल्लिखित एक शब्द की तरह लगेगा, दुर्भाग्य से मुझे नकारात्मक शब्दों की कार्डिनैलिटी या उन पर व्यावहारिक सीमा के बारे में परिणामों का पता नहीं है।

— पोरौटी
स्रोत