फिशर मैट्रिक और रिश्तेदार एन्ट्रापी के बीच संबंध

20

क्या कोई फ़िशर सूचना मीट्रिक और रिश्तेदार एन्ट्रापी (या केएल विचलन) के बीच निम्नलिखित संबंध को विशुद्ध रूप से गणितीय रूप से कठोर तरीके से साबित कर सकता है ?

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$

मुझे जॉन बाएज़ के अच्छे ब्लॉग में उपरोक्त मिला जहाँ टिप्पणी में वासिलियोस एनाग्नोस्तोपोलोस कहते हैं।

mathematical-statistics kullback-leibler fisher-information

— कुमार
स्रोत

1

प्रिय कुमार: स्पष्ट करने के लिए, यह आपके अंकन को बेहतर ढंग से समझाने में मदद करेगा, विशेष रूप से का अर्थ । इसके अलावा, मुझे लगता है कि आपकी अभिव्यक्ति प्रदर्शन समीकरण के दाईं ओर के पहले शब्द के सामने का एक स्थिर कारक याद कर रही है। ध्यान दें कि क्या कुल्बैक ने स्वयं को विचलन कहा जाता है (संकेतन का उपयोग करके जिसे केएल विचलन कहा जाता है, जिसे जान लिया जाता है, का सममितीय संस्करण है, अर्थात, । केएल डाइवर्जेंस को कुल्बैक के लेखन में दर्शाया गया था । यह के कारक को भी समझाता है । चीयर्स।

g_{i, j}

$g_{i,j}$

1 / 2

$1/2$

J (\cdot, \cdot)

$J(\cdot,\cdot)$

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$

I (\cdot, \cdot)

$I(\cdot,\cdot)$

1 / 2

$1/2$

— कार्डिनल

19

1946 में, भूभौतिकीविद् और बायेसियन सांख्यिकीविद हैरोल्ड जेफ़रीज़ ने आज हम जिसे कुलबबैक-लीब्लर विचलन कहते हैं, की खोज की और पाया कि दो वितरणों के लिए जो "असीम रूप से करीब" हैं (आशा करते हैं कि मैथ एसई लोग इसे नहीं देखते हैं ;-) हम लिख सकते हैं; उनके कुल्बैक-लीब्लर विचलन एक द्विघात रूप में होते हैं जिनके गुणांक फिशर सूचना मैट्रिक्स के तत्वों द्वारा दिए गए हैं। उन्होंने इस चतुष्कोणीय रूप की व्याख्या एक रीमैनियन की लंबाई के तत्व के रूप में की, जिसमें फिशर जानकारी के साथ रीमैनियन मीट्रिक की भूमिका निभा रहा था। सांख्यिकीय मॉडल के इस ज्यामितीयकरण से, उन्होंने अपने जेफ्रीज़ के पूर्व के उपाय को प्राकृतिक रूप से रिऐमानियन मीट्रिक द्वारा प्रेरित के रूप में व्युत्पन्न किया, और इस उपाय को कई गुना पर आंतरिक रूप से समान वितरण के रूप में व्याख्या किया जा सकता है, हालांकि, सामान्य रूप से, यह एक परिमित उपाय नहीं है।

एक कठोर प्रमाण लिखने के लिए, आपको सभी नियमितता की स्थितियों को देखना होगा और टेलर अभियानों में त्रुटि शर्तों के क्रम का ध्यान रखना होगा। यहाँ तर्क का संक्षिप्त विवरण दिया गया है।

दो घनत्व और बीच सममित कुल्लबैक-लीब्लर विचलन को परिभाषित किया गया है $f$ $g$

D [f, g] = \int (f (x) - g (x)) \log (\frac{f (x)}{g (x)}) d x .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

अगर हमारे पास घनत्व का परिवार है , तो $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (x, ∣ θ) - p (x ∣ θ + Δ θ)) \log (\frac{p (x ∣ θ)}{p (x ∣ θ + Δ θ)}) d x,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$ जिसमें । प्रस्तुतिकरण the the कुछ सरल बीजगणित देता है प्राकृतिक लघुगणक के लिए टेलर विस्तार का उपयोग करना, हमारे पास है

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ p (x ∣ θ) = p (x ∣ θ) - p (x ∣ θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int \frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

\log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) \approx \frac{Δ p (x ∣ θ)}{p (x ∣ θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$ और इसलिए लेकिन अतः जिसमें

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \int {(\frac{Δ p (x ∣ θ)}{p (x ∣ θ)})}^{2} p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \approx \frac{1}{p (x ∣ θ)} \sum_{i = 1}^{k} \frac{\partial p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} = \sum_{i = 1}^{k} \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} .

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \sum_{i, j = 1}^{k} g_{i j} Δ θ_{i} Δ θ_{j},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

g_{i j} = \int \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} \frac{\partial \log p (x ∣ θ)}{\partial θ_{j}} p (x ∣ θ) d x .

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

यह मूल कागज है:

जेफ़रीज़, एच। (1946)। अनुमान समस्याओं में पूर्व संभावना के लिए एक अपरिवर्तनीय रूप। प्रोक। रॉयल सोसाइटी। लंदन की श्रृंखला ए, 186, 453-461।

— जेन
स्रोत

1

अच्छा लेखन के लिए बहुत-बहुत धन्यवाद। यह अच्छा होगा यदि आप मदद कर सकते हैं होगा इस रूप में अच्छी तरह।

— कुमारा

हां, आपने सही कहा। मुझे इस "अमूर्त जाल" से बाहर आना चाहिए।

— कुमारा

@ आप इंटीग्रल के तहत लघुगणक के टेलर विस्तार का उपयोग कर रहे हैं, यह मान्य क्यों है?

— सुस 20200

1

ऐसा लगता है कि आप मानक केएल विचलन के विपरीत, सममित केएल विचलन के साथ शुरू करते हैं। विकिपीडिया लेख सममित संस्करण का कोई उल्लेख नहीं करता है, और इसलिए यह संभवतः गलत हो सकता है। en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_diverization

— सर्जिकल कमांडर

11

सामान्य (गैर-सममित) केएल विचलन के लिए सबूत

ज़ेन का जवाब सममितीय केएल विचलन का उपयोग करता है, लेकिन परिणाम सामान्य रूप में भी होता है, क्योंकि यह असीम रूप से बंद वितरणों के लिए सममित हो जाता है।

असत्य वितरण के लिए एक प्रमाण यहाँ एक स्केलर (क्योंकि मैं आलसी हूँ) द्वारा दिया गया है, लेकिन निरंतर वितरण या मापदंडों के वेक्टर के लिए आसानी से लिखा जा सकता है: $\theta$

टेलर विस्तार पिछले अवधि:

D (p_{θ}, p_{θ + d θ}) = \sum p_{θ} \log p_{θ} - \sum p_{θ} \log p_{θ + d θ} .

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$

कुछ नियमितताओं को मानते हुए, मैंने दो परिणामों का उपयोग किया है:

= \underset{= 0}{\underset{⏟}{\sum p_{θ} \log p_{θ} - \sum p_{θ} \log p_{θ}}} - d θ \underset{= 0 †}{\underset{⏟}{\sum p_{θ} \frac{d}{d θ} \log p_{θ}}} - \frac{1}{2} {d θ}^{2} \underset{= - \sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} ‡}{\underset{⏟}{\sum p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ}}} + O ({d θ}^{3}) = \frac{1}{2} {d θ}^{2} \underset{Fisher information}{\underset{⏟}{\sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2}}} + O ({d θ}^{3}) .

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : \sum p_{θ} \frac{d}{d θ} \log p_{θ} = \sum \frac{d}{d θ} p_{θ} = \frac{d}{d θ} \sum p_{θ} = 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : \sum p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ} & = \sum p_{θ} \frac{d}{d θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ}) \\ = \sum p_{θ} [\frac{1}{p_{θ}} \frac{d^{2} p_{θ}}{d θ} - (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2}] \\ = \sum \frac{d^{2} p_{θ}}{d θ^{2}} - \sum p_{θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{d^{2}}{d θ^{2}} \sum p_{θ}}} - \sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} . \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— Abhranil Das
स्रोत

4

You can find a similar relationship (for a one-dimensional parameter) in equation (3) of the following paper

D. Guo (2009), Relative Entropy and Score Function: New Information–Estimation Relationships through Arbitrary Additive Perturbation, in Proc. IEEE International Symposium on Information Theory, 814–818. (stable link).

The authors refer to

S. Kullback, Information Theory and Statistics. New York: Dover, 1968.

for a proof of this result.

— Primo Carnera
स्रोत

1

A multivariate version of equation (3) of that paper is proven in the cited Kullback text on pages 27-28. The constant

1 / 2

$1/2$ seems to have gone missing in the OP's question. :)

— cardinal