फिशर सूचना मैट्रिक्स सकारात्मक अर्धचालक क्यों है?

19

चलो $\theta \in R^{n}$ । फिशर सूचना मैट्रिक्स के रूप में परिभाषित किया गया है:

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

मैं फिशर सूचना मैट्रिक्स कैसे साबित कर सकता हूं सकारात्मक सकारात्मक है?

inference linear-algebra fisher-information

— madprob
स्रोत

7

क्या यह अपने आप में स्कोर के बाहरी उत्पाद का अपेक्षित मूल्य नहीं है?

— नील जी

20

इसे देखें: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

परिभाषा से, हमारे पास है

I_{i j} = E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ के लिए

i, j = 1, \dots, k

$i,j=1,\dots,k$ , जिसमें

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$ ।

I_{i j}

$I_{ij}$ लिए आपकी अभिव्यक्तिनियमितता शर्तों के तहत इसी से आती है।

के लिए एक nonnull वेक्टर $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$ , यह उम्मीद की linearity से इस प्रकार है कि

\sum_{i, j = 1}^{k} u_{i} I_{i j} u_{j} = \sum_{i, j = 1}^{k} (u_{i} E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] u_{j}) = E_{θ} [(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\sum_{j = 1}^{k} u_{j} \partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] = E_{θ} [{(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ))}^{2}] \geq 0 .

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

तो इस घटक बुद्धिमान अंकन भी बदसूरत है, ध्यान दें कि फिशर मैट्रिक्स जानकारी $H=(I_{ij})$ के रूप में लिखा जा सकता है $H = \mathrm{E}_\theta\left[S S^\top\right]$ , जिसमें वेक्टर स्कोर $S$ के रूप में परिभाषित किया गया है

S = {(\partial_{1} \log f_{X ∣ Θ} (X ∣ θ), \dots, \partial_{k} \log f_{X ∣ Θ} (X ∣ θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

u^{⊤} H u = u^{⊤} E_{θ} [S S^{⊤}] u = E_{θ} [u^{⊤} S S^{⊤} u] = E_{θ} [| | S^{⊤} u | |^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— जेन
स्रोत

3

(+1) अच्छा जवाब और वापस स्वागत है, ज़ेन। मैं चिंतित हो रहा था कि हमने आपको स्थायी रूप से आपके अंतराल की लंबाई को देखते हुए खो दिया है। यह एक वास्तविक शर्म की बात होती!

— कार्डिनल

5

चेतावनी: सामान्य उत्तर नहीं!

अगर $f(X|\theta)$ एक पूर्ण-श्रेणी के घातीय परिवार से मेल खाती है, फिर लॉग-संभावना के नकारात्मक हेसियन पर्याप्त सांख्यिकीय का सहसंयोजक मैट्रिक्स है। कोवरियस मैट्रिसेस हमेशा सकारात्मक अर्ध-निश्चित होते हैं। चूंकि फिशर जानकारी सकारात्मक अर्ध-निश्चित परिपक्वताओं का उत्तल संयोजन है, इसलिए इसे सकारात्मक अर्ध-निश्चित होना चाहिए।

— gusl
स्रोत