क्या आपसी जानकारी हासिल करने का मूल्य 1 से अधिक हो सकता है

Question

मुझे बहुत बुनियादी संदेह है। क्षमा करें यदि यह कुछ परेशान करता है। मुझे पता है कि म्युचुअल सूचना मूल्य 0 से अधिक होना चाहिए, लेकिन क्या यह 1 से कम होना चाहिए? क्या यह किसी ऊपरी मूल्य से बंधा है?

धन्यवाद, अमित।

Answer 1

हां, इसकी ऊपरी सीमा होती है, लेकिन 1 नहीं।

आपसी जानकारी (बिट्स में) 1 जब दो पक्षों (सांख्यिकीय) शेयर एक सूचना के सा है। हालांकि, वे एक मनमाना बड़े डेटा साझा कर सकते हैं। विशेष रूप से, यदि वे 2 बिट्स साझा करते हैं, तो यह 2 है।

आपसी जानकारी एकल पार्टियों के लिए प्रायिकता वितरण के शैनन एन्ट्रॉपी द्वारा ऊपर से बंधी है , अर्थात ।$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Comments

अगर दोनों पार्टियां द्विआधारी चर यानी प्रत्येक केवल दो संभावित परिणामों है कर रहे हैं {0,1} , तो entropies अधिकतम पर बाहर जब और । इस प्रकार, दो बाइनरी चर के लिए अधिकतम पारस्परिक जानकारीH ( X ) , H ( Y ) 1 P ( X ) = 0.5 P ( Y ) = 0.5 $X,Y$$H(X), H(Y)$$1$$P(X)=0.5$$P(Y)=0.5$$1$

— अक्सेली पैलेन