फेनो की असमानता का एक संकेत?

Question

Fano की असमानता कई रूपों में कहा जा सकता है, और एक विशेष रूप से उपयोगी एक की वजह से है (एक मामूली संशोधन के साथ) Oded Regev :

चलो एक यादृच्छिक चर है, और जहां एक यादृच्छिक प्रक्रिया है। एक प्रक्रिया के अस्तित्व को मान लें कि दिए गए को प्रायिकता साथ पुन: निर्मित कर सकता है । तब $X$$Y = g(X)$$g(\cdot)$$f$$y = g(x)$$x$$p$

$$I(X; Y) \ge pH(X) − H(p)$$

दूसरे शब्दों में, अगर मैं पुनर्निर्माण कर सकता हूं, तो सिस्टम में बहुत सारी पारस्परिक जानकारी है।

क्या फानो की असमानता के लिए "कांसेप्ट" है: फॉर्म का कुछ

"पर्याप्त पारस्परिक जानकारी वाले चैनल को देखते हुए, आउटपुट से त्रुटि के साथ इनपुट को फिर से संगठित करने की एक प्रक्रिया है जो पारस्परिक जानकारी पर निर्भर करती है"

यह उम्मीद करना बहुत अधिक होगा कि यह प्रक्रिया भी कुशल होगी, लेकिन यह भी देखना दिलचस्प होगा (प्राकृतिक) उदाहरण जहां पुनर्निर्माण मौजूद है, लेकिन अक्षम होना चाहिए।

Answer 1

$P(y)$$y$$x$$\Pr[X = x \mid Y = y]$$\max_x \Pr[x \mid Y = y]$$2^{-H_\infty(X | Y = y)}$$H_\infty(X \mid Y = y)$$X$$Y = y$$H_\infty(X) \leq H_1(X)$$H_1(X)$$X$$H_\infty(X|Y = y)$पारस्परिक सूचना संदर्भ में ।$I(X:Y)$

लिखें । उपर्युक्त असमानता का उपयोग करते हुए, , या ।$I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$$I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$$\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

संभावना है कि प्रक्रिया जहां सफल होती है, जहां और को यादृच्छिक रूप से चुना जाता है, , जो से कम से कम । इस प्रकार संभाव्यता सफल होने की संभावना कम से कम ।$X$$Y$$\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$$2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$$2^{I(X:Y) - H(X)}$

यह प्रक्रिया इष्टतम है: किसी भी यादृच्छिकता प्रक्रिया , सफलता की संभावना , जो कि अधिकतम बिंदु-वार है जब निर्धारक रूप से सबसे अधिक संभावित उत्पादन करता है ।$P$$\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$$P(y)$$x$

Comments

तो, क्या एक परिमाणात्मक कथन है जो कि इस तर्क से अनुसरण करने वाली फ़ानो की असमानता का परिचायक है?

— मोबिअस डंबल

मात्रात्मक से आपका क्या अभिप्राय है? मैंने जो तर्क दिया वह कहना चाहिए, "आपसी जानकारी साथ एक चैनल को देखते हुए , अधिकतम त्रुटि के साथ एक पुनर्निर्माण प्रक्रिया है ।" $I(X:Y)$$1 - 2^{I(X:Y) - H(X)}$

— हेनरी यूएन

Answer 2

अच्छा जवाब और सबूत। तो, आपके उत्तर में बाध्य फिर से लिखा जा सकता है चूंकि परिभाषा के अनुसार। यह आईईईई आईएसआईटी 1994 में बाउमर द्वारा एक वार्ता में मेरे ज्ञान के सर्वोत्तम रूप में दिखाई दिया।

$$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$$ $I(X;Y)=H(X)-H(X|Y)$

इसी तरह की एक नस में, एक प्राप्त कर सकते हैं जहाँ H α ( Z ) =

$$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$$ के आदेश के Renyi एन्ट्रापी हैअल्फा∈(0,1)∪(1,∞)। यहाँ,α=2,इसलिए बाउंड (2) (1) से अधिक तंग है। $$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$$ $\alpha \in (0,1)\cup(1,\infty).$$\alpha=2,$