लॉग-इन (p (x, y)) बिंदु-वार आपसी जानकारी को कैसे सामान्य करता है?

Question

मैं बिंदुवार पारस्परिक जानकारी के सामान्यीकृत रूप को समझने की कोशिश कर रहा हूं।

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

लॉग-संयुक्त संभावना क्यों बिंदुवार पारस्परिक जानकारी को सामान्य बनाता है [-1, 1] के बीच?

बिंदु वार आपसी जानकारी है:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) [0, 1] से घिरा है, इसलिए लॉग (p (x, y)) से घिरा है (,, 0)। ऐसा लगता है कि लॉग (p (x, y)) को किसी तरह से संतुलन में बदलाव करना चाहिए। अंश, लेकिन मुझे ठीक से समझ में नहीं आता है। यह मुझे एन्ट्रॉपी भी याद दिलाता है , लेकिन फिर से मुझे सटीक संबंध समझ में नहीं आता है।$h=-log(p(x))$

Comments

स्टार्टर के लिए, बिंदुवार पारस्परिक जानकारी लॉगरिथम का उपयोग करती है (मुझे यकीन नहीं है कि इसका टाइपो या आप किसी अन्य मात्रा का उपयोग कर रहे हैं )।

— पियोट्र मिगदल

Answer 1

बिंदुवार आपसी जानकारी पर विकिपीडिया प्रविष्टि से :

पॉइंटवाइज आपसी जानकारी को [-1, + 1] के बीच सामान्य किया जा सकता है, जिसके परिणामस्वरूप -1 (सीमा में) एक साथ कभी नहीं होने के लिए, स्वतंत्रता के लिए 0 और पूर्ण सह-घटना के लिए +1 है।

क्यों होता है? खैर, बिंदुवार पारस्परिक जानकारी की परिभाषा है

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

जबकि सामान्यीकृत बिंदुवार आपसी जानकारी है:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

जब वहाँ हैं:

• कोई सह-घटना नहीं, $\log p(x,y)\to -\infty$, तो nmpi -1 है,
• यादृच्छिक पर सह-घटनाएँ, $\log p(x,y)= \log[p(x) p(y)]$, तो nmpi 0 है,
• पूर्ण सह-घटनाएँ, $\log p(x,y)= \log p(x) = \log p(y)$, तो nmpi 1 है।

Comments

यह दिखाने के लिए अधिक पूर्ण उत्तर होगा कि एनपीएमआई अंतराल पर क्यों है $[-1,1]$। दूसरे उत्तर में मेरा प्रमाण देखें।

— हंस

Answer 2

जबकि पिओटर मिग्डल का उत्तर उन उदाहरणों को देने में जानकारीपूर्ण है जहां nmpi तीन चरम मूल्यों को प्राप्त करता है, यह साबित नहीं करता है कि यह अंतराल पर है $[-1,1]$। यहां असमानता और इसकी व्युत्पत्ति है।

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ जैसा $-\log\,p(A)\ge0$ किसी भी घटना के लिए $A$। गैर-नकारात्मक द्वारा दोनों पक्षों को विभाजित करना$h(x,y):=-\log\,p(x,y)$, हमारे पास है $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$