आपसी सूचनाओं पर सीमाबद्ध होकर आपसी जानकारी देना


18

मान लीजिए कि मेरे पास दो सेट X और और इन सेटों पर एक संयुक्त संभाव्यता वितरण है । चलो और से अधिक सीमांत वितरण निरूपित और क्रमशः।Yp(x,y)p(x)p(y)XY

और बीच की पारस्परिक जानकारी को परिभाषित किया गया है: XY

I(X;Y)=x,yp(x,y)log(p(x,y)p(x)p(y))

यानी यह बिंदुवार आपसी जानकारी pmi का औसत मान है ।(x,y)log(p(x,y)p(x)p(y))

मान लीजिए कि मुझे pmi पर ऊपरी और निचले सीमा पता है: यानी मुझे पता है कि सभी x के लिए, y निम्नलिखित होल्ड करता है: -k \ leq \ log \ left (\ frac {p (x, y)} {p ( x) p (y)} \ right) \ leq k(x,y)x,y

klog(p(x,y)p(x)p(y))k

I (X; Y) पर इसका ऊपरी बंधन क्या है I(X;Y)। निश्चित रूप से इसका तात्पर्य I(X;Y)k , लेकिन यदि संभव हो तो मैं एक तंग बाउंड को चाहूंगा। यह मेरे लिए प्रशंसनीय लगता है क्योंकि p एक प्रायिकता वितरण को परिभाषित करता है, और pmi (x, y) x और y के(x,y) प्रत्येक मान के लिए इसका अधिकतम मान (या यहां तक ​​कि गैर-ऋणात्मक हो सकता है ) नहीं ले सकता है ।xy


1
जब संयुक्त और सीमांत संभावनाएं एक समान होती हैं, तो pmi ( x , y ) समान रूप से शून्य होती है (और इसलिए गैर-नकारात्मक, जाहिरा तौर पर आपके अंतिम कथन का खंडन करती है, लेकिन बस मुश्किल से)। यह मुझे लगता है, अगर मैं गलत नहीं हूँ, कि इस स्थिति को छोटा करने पर X \ टाइम्स Y के छोटे सबसेट पर यह X×Yइंगित करता है कि pmi पर सीमाएँ I (X; Y) के बारे में लगभग कुछ भी नहीं कहती हैं I(X;Y)
whuber

1
वास्तव में, यदि और स्वतंत्र हैं, तो सीमांत वितरण की परवाह किए बिना, स्थिर है। इसलिए वितरणों की एक पूरी कक्षा है जिसके लिए प्रत्येक और लिए अपना अधिकतम मान प्राप्त करता है । Y p m i ( x , y ) p ( x , y ) p m i ( x , y ) x yXYpmi(x,y)p(x,y)pmi(x,y)xy
कार्डिनल

हाँ, यह निश्चित रूप से सच है कि pmi सभी और लिए समान हो सकता हैएक्स y मैं ( एक्स , वाई ) कश्मीर ( कश्मीर - 1 ) कश्मीर 2 कश्मीर < 1 कश्मीर कश्मीर < 1(x,y)xy , लेकिन यह एक तंग बाउंड को खारिज नहीं करता है। उदाहरण के लिए, यह साबित करना मुश्किल नहीं है कि । यह वह जगह है जब , और बाध्य की एक गैर तुच्छ मजबूत करना है जब । मैं सोच रहा हूं कि क्या गैर-तुच्छ सीमाएं हैं जो अधिक आम तौर पर रखती हैं। I(X;Y)k(ek1)k2k<1kk<1
फ्लोरियन

1
मुझे शक है कि आपको इससे बेहतर बाउंड मिलेगा k 0O(k2) के लिए । यदि आप कठिन दिखना चाहते हैं, तो पी (एक्स) पी (वाई) और पी (एक्स, वाई) के बीच केएल विचलन के संदर्भ में अपने प्रश्न को फिर से तैयार करने का प्रयास करें। Pinsker की असमानता एमआई पर एक कम बाध्य प्रदान करती है जो मेरे कूबड़ की पुष्टि कर सकती है। Ajmaa.org/RGMIA/papers/v2n4/relog.pdf की धारा 4 भी देखें । k0
vqv

जवाबों:


5

मेरे योगदान में एक उदाहरण है। यह कुछ सीमाओं को दर्शाता है कि कैसे आपसी जानकारी को बिंदुवार पारस्परिक जानकारी पर सीमा दी जा सकती है।

लो और सभी के लिए । किसी भी के लिए जानेपी ( एक्स ) = 1 / n एक्स एक्स मीटर { 1 , ... , एन / 2 } कश्मीर > 0 मी कश्मीर + ( n - मीटर ) - कश्मीर = n e k / n 2 n m { 1 ,X=Y={1,,n}p(x)=1/nxXm{1,,n/2}k>0 समीकरण लिए हल होना चाहिए फिर हम उत्पाद स्थान में पॉइंट्स में पॉइंट मास को इस तरह से जगह देते हैं कि प्रत्येक पंक्ति और प्रत्येक कॉलम में इन बिंदुओं के होते हैं । (यह कई मायनों में किया जा सकता है। उदाहरण के लिए, पहली पंक्ति में पहले अंक के साथ शुरू करें और फिर को स्थानांतरित करके शेष पंक्तियों को भरें।

mek+(nm)ek=n.
ek/n2nm m m m e - k / n 2 n 2 - n m n m{1,,n}2mmmप्रत्येक पंक्ति के लिए चक्रीय सीमा स्थिति के साथ दाईं ओर एक बिंदु)। हम शेष बिंदुओं में बिंदु द्रव्यमान को रखते हैं । इन बिंदु द्रव्यमानों का योग इसलिए वे एक प्रायिकता माप देते हैं। सभी सीमांत बिंदु सम्भावनाएँ इसलिए दोनों सीमांत वितरण एक समान हैं।ek/n2n2nmमी
nmn2ek+n2nmn2ek=mek+(nm)ekn=1,
mn2ek+mnn2ek=1n,

निर्माण से यह स्पष्ट होता है कि सभी , और (कुछ के बाद) अभिकलन) के साथ के रूप में आपसी जानकारी व्यवहार के लिए और के रूप में के लिए ।एक्स , वाई { 1 , ... , n } मैं ( एक्स , वाई ) = कश्मीर n मीटरpmi(x,y){k,k},x,y{1,,n}कश्मीर2/2कश्मीर0कश्मीरकश्मीर

I(X;Y)=knmn2ekkn2nmn2ek=k(1ekekek(ek+ek)ek),
k2/2k0kk


1

मुझे यकीन नहीं है कि यह वही है जो आप खोज रहे हैं, क्योंकि यह ज्यादातर बीजीय है और वास्तव में पी के गुणों का लाभ नहीं ले रहा है एक संभावना वितरण, लेकिन यहां कुछ ऐसा है जिसे आप कोशिश कर सकते हैं।

Pmi पर सीमा के कारण, स्पष्ट रूप से और इस प्रकार । हम के लिए स्थानापन्न कर सकते हैंp(x,y)p(x)p(y)ekp(x,y)p(x)p(y)ekp(x,y) में के लिएI(X;Y)I(X;Y)x,yp(x)p(y)eklog(p(x)p(y)ekp(x)p(y))=x,yp(x)p(y)ekk

मुझे यकीन नहीं है कि यह मददगार है या नहीं।

संपादित करें: आगे की समीक्षा पर मेरा मानना ​​है कि यह वास्तव में कश्मीर के मूल ऊपरी सीमा से कम उपयोगी है। मैं इसे तब तक नहीं हटाऊंगा, जब यह एक प्रारंभिक बिंदु पर संकेत दे सकता है।


आपके द्वारा और ( बाद से ) उस नोट करने के बाद इस सीमा का मान स्पष्ट हो जाता है । x,yp(x)p(y)=1k0ek1
whuber

हां, जब मुझे महसूस हुआ कि मैंने अपना संपादन कर लिया है।
माइकल मैकगोवन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.