एक शोर वितरण का एन्ट्रापी

मान लें कि हमारे पास एक फ़ंक्शन ऐसा है कि और एक वितरण है, अर्थात, । $f:\mathbb{Z}_2^n \to \mathbb{R}$

\forall x \in Z_{2}^{n} f (x) \in {\frac{1}{2^{n}}, \frac{2}{2^{n}}, \dots, \frac{2^{n}}{2^{n}}},

$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$

f

$f$

\sum_{x \in Z_{2}^{n}} f (x) = 1

$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

की शैनन एंट्रोपी को इस प्रकार परिभाषित किया गया है: $f$

H (f) = - \sum_{x \in Z_{2}^{n}} f (x) \log (f (x)) .

$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$

आज्ञा देना कुछ स्थिर हो। मान लें कि हमें का एक -noisy संस्करण मिलता है, अर्थात, हमें एक फ़ंक्शन ऐसा मिलता है हर । एन्ट्रापी पर शोर का क्या प्रभाव है? अर्थात, हम " और " उचित "कार्य द्वारा को बाध्य कर सकते हैं , जैसे: या सम, कुछ स्थिरांक के लिए । $\epsilon$ $\epsilon$ $f(x)$ $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ $|\tilde{f}(x)- f(x) | < \epsilon$ $x\in \mathbb{Z}_2^n$ $H(\tilde{f})$ $\epsilon$ $H(f)$

(1 - ϵ) H (f) < H (\tilde{f}) < (1 + ϵ) H (f),

$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$

(1 - ϵ^{c} n)^{d} H (f) < H (\tilde{f}) < (1 + ϵ^{c} n)^{d} H (f),

$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$

c, d

$c,d$

संपादित करें: शैनन के एन्ट्रापी पर शोर के प्रभाव के लिए एक भावना प्राप्त करने की कोशिश कर रहा है, पर कोई भी "उचित" योजक भी बहुत दिलचस्प होगा। $H(\tilde{f})$

it.information-theory boolean-functions

इस तरह की बाध्यता संभव नहीं है। उस मामले पर विचार करें जहां वह वितरण है जो आकार कुछ सेट के ऊपर समान है , और let वितरण हो कि संभावना के साथ एक समान रूप से वितरित तत्व का वितरण करता है , और अन्यथा समान रूप से वितरित स्ट्रिंग को आउटपुट करता है। $f$ $S$ $2^{\delta \cdot n}$ $\tilde{f}$ $\delta$ $S$

यह देखना मुश्किल नहीं है कि आप से तक प्राप्त कर सकते हैं, आपको केवल शोर की आवश्यकता है । हालाँकि, जबकि । इस प्रकार, आपको एक अत्यंत शोर के लिए मनमाने ढंग से छोटे लिए अंतर मिलता है । $f$ $\tilde{f}$ $(1-\delta) \cdot 2^{-\delta \cdot n}$ $H(f)= \delta \cdot n$ $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$ $(1 - \delta)^2 \cdot n$ $\delta$

विशेष रूप से, आप सेट कर सकते हैं , और शोर और एन्ट्रॉपी अंतर प्राप्त कर सकते हैं । $\delta = \frac{\log(1/\varepsilon)}{n}$ $\varepsilon$ $\approx n - 2\log(1/\varepsilon)$

— या मीर
स्रोत

आप लगभग , सही मतलब है ? किसी भी मामले में, मुझे लगता है कि यह पूछने वाले को एक योजक बाउंड के बारे में जवाब देने में मदद कर सकता है, न कि केवल एक परस्पर बंधी बाउंड के बारे में (मुझे पता है कि वह विशेष रूप से गुणक के बारे में पूछा है)।

ϵ n

$\epsilon n$

— दाना मोशकोविट्ज़

सुधारों के लिए धन्यवाद। मुझे नहीं पता कि एक additive बाध्य के लिए क्या जवाब है।

— या मीर

उत्तर के लिए धन्यवाद या! एन्ट्रापी साथ एक फ़ंक्शन पर गुणा गुणक प्राप्त करना निराशाजनक है । हालांकि, 0 से अधिक एन्ट्रापी के साथ कार्यों के बारे में क्या? क्या ऐसा होना संभव है?

0

$0$

@DanaMoshkovitz - एक योजक बाउंड का मामला वास्तव में बहुत प्रासंगिक है। मैं इसे प्रश्न में जोड़ दूंगा। इस पर ध्यान दिलाने के लिए धन्यवाद!

@OrMeir - आपके उदाहरण को थोड़ा मोड़ देने से एक फ़ंक्शन मिलता है जो पहले प्रकार के गुणात्मक बाउंड के विपरीत होता है जो मैंने (यहां तक कि साथ कार्यों के लिए ) कहा था, हालांकि मुझे दूसरे प्रकार के गुणक के लिए ऐसा उदाहरण नहीं मिला। बाध्य मैंने के बारे में पूछा ( संभालने )। कोई विचार?

H (f) \neq 0

$H(f) \neq 0$

H (f) \neq 0

$H(f) \neq 0$