आपसी सूचनाओं पर सीमाबद्ध होकर आपसी जानकारी देना

मान लीजिए कि मेरे पास दो सेट $X$ और और इन सेटों पर एक संयुक्त संभाव्यता वितरण है । चलो और से अधिक सीमांत वितरण निरूपित और क्रमशः। $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

और बीच की पारस्परिक जानकारी को परिभाषित किया गया है: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

यानी यह बिंदुवार आपसी जानकारी pmi का औसत मान है । $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

मान लीजिए कि मुझे pmi पर ऊपरी और निचले सीमा पता है: यानी मुझे पता है कि सभी निम्नलिखित होल्ड करता है: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

पर इसका ऊपरी बंधन क्या है $I(X; Y)$ । निश्चित रूप से इसका तात्पर्य $I(X; Y) \leq k$ , लेकिन यदि संभव हो तो मैं एक तंग बाउंड को चाहूंगा। यह मेरे लिए प्रशंसनीय लगता है क्योंकि p एक प्रायिकता वितरण को परिभाषित करता है, और pmi और $(x,y)$ प्रत्येक मान के लिए इसका अधिकतम मान (या यहां तक कि गैर-ऋणात्मक हो सकता है नहीं ले सकता है । $x$ $y$

entropy mutual-information information-theory

— फ्लोरियन
स्रोत

जब संयुक्त और सीमांत संभावनाएं एक समान होती हैं, तो pmi (

x

$x$ ,

y

$y$ ) समान रूप से शून्य होती है (और इसलिए गैर-नकारात्मक, जाहिरा तौर पर आपके अंतिम कथन का खंडन करती है, लेकिन बस मुश्किल से)। यह मुझे लगता है, अगर मैं गलत नहीं हूँ, कि इस स्थिति को छोटा करने पर

छोटे सबसेट पर यह

X \times Y

$X \times Y$ इंगित करता है कि pmi पर सीमाएँ

बारे में लगभग कुछ भी नहीं कहती हैं

I (X; Y)

$I(X;Y)$ ।

— whuber

वास्तव में, यदि और स्वतंत्र हैं, तो सीमांत वितरण की परवाह किए बिना, स्थिर है। इसलिए वितरणों की एक पूरी कक्षा है जिसके लिए प्रत्येक और लिए अपना अधिकतम मान प्राप्त करता है ।

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— कार्डिनल

हाँ, यह निश्चित रूप से सच है कि pmi सभी और लिए समान हो सकता है

(x, y)

$(x,y)$

x

$x$

y

$y$ , लेकिन यह एक तंग बाउंड को खारिज नहीं करता है। उदाहरण के लिए, यह साबित करना मुश्किल नहीं है कि । यह वह जगह है जब , और बाध्य की एक गैर तुच्छ मजबूत करना है जब । मैं सोच रहा हूं कि क्या गैर-तुच्छ सीमाएं हैं जो अधिक आम तौर पर रखती हैं।

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— फ्लोरियन

मुझे शक है कि आपको इससे बेहतर बाउंड मिलेगा

O (k^{2})

$O(k^2)$ के लिए । यदि आप कठिन दिखना चाहते हैं, तो पी (एक्स) पी (वाई) और पी (एक्स, वाई) के बीच केएल विचलन के संदर्भ में अपने प्रश्न को फिर से तैयार करने का प्रयास करें। Pinsker की असमानता एमआई पर एक कम बाध्य प्रदान करती है जो मेरे कूबड़ की पुष्टि कर सकती है। Ajmaa.org/RGMIA/papers/v2n4/relog.pdf की धारा 4 भी देखें ।

k \to 0

$k \to 0$

— vqv

जवाबों:

मेरे योगदान में एक उदाहरण है। यह कुछ सीमाओं को दर्शाता है कि कैसे आपसी जानकारी को बिंदुवार पारस्परिक जानकारी पर सीमा दी जा सकती है।

लो और सभी के लिए । किसी भी के लिए जाने $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$ समीकरण लिए हल होना चाहिए फिर हम उत्पाद स्थान में पॉइंट्स में पॉइंट मास को इस तरह से जगह देते हैं कि प्रत्येक पंक्ति और प्रत्येक कॉलम में इन बिंदुओं के होते हैं । (यह कई मायनों में किया जा सकता है। उदाहरण के लिए, पहली पंक्ति में पहले अंक के साथ शुरू करें और फिर को स्थानांतरित करके शेष पंक्तियों को भरें।

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ प्रत्येक पंक्ति के लिए चक्रीय सीमा स्थिति के साथ दाईं ओर एक बिंदु)। हम शेष बिंदुओं में बिंदु द्रव्यमान को रखते हैं । इन बिंदु द्रव्यमानों का योग इसलिए वे एक प्रायिकता माप देते हैं। सभी सीमांत बिंदु सम्भावनाएँ इसलिए दोनों सीमांत वितरण एक समान हैं।

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

निर्माण से यह स्पष्ट होता है कि सभी , और (कुछ के बाद) अभिकलन) के साथ के रूप में आपसी जानकारी व्यवहार के लिए और के रूप में के लिए । $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
स्रोत

मुझे यकीन नहीं है कि यह वही है जो आप खोज रहे हैं, क्योंकि यह ज्यादातर बीजीय है और वास्तव में पी के गुणों का लाभ नहीं ले रहा है एक संभावना वितरण, लेकिन यहां कुछ ऐसा है जिसे आप कोशिश कर सकते हैं।

Pmi पर सीमा के कारण, स्पष्ट रूप से और इस प्रकार । हम के लिए स्थानापन्न कर सकते हैं $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ में के लिए $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

मुझे यकीन नहीं है कि यह मददगार है या नहीं।

संपादित करें: आगे की समीक्षा पर मेरा मानना है कि यह वास्तव में कश्मीर के मूल ऊपरी सीमा से कम उपयोगी है। मैं इसे तब तक नहीं हटाऊंगा, जब यह एक प्रारंभिक बिंदु पर संकेत दे सकता है।

— माइकल मैकगोवन
स्रोत

आपके द्वारा और ( बाद से ) उस नोट करने के बाद इस सीमा का मान स्पष्ट हो जाता है ।

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— whuber

हां, जब मुझे महसूस हुआ कि मैंने अपना संपादन कर लिया है।

— माइकल मैकगोवन