एक अतिपरिवर्तित मॉडल के लिए फ़िशर सूचना मैट्रिक्स निर्धारक

एक बर्नौली यादृच्छिक चर पर विचार करें $X\in\{0,1\}$ पैरामीटर के साथ $\theta$ (सफलता की संभावना)। संभावना समारोह और फिशर जानकारी (ए $1 \times 1$ मैट्रिक्स) हैं:

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

अब दो मापदंडों के साथ एक "अति- " संस्करण पर विचार करें: सफलता की संभावना $\theta_1$ और विफलता की संभावना $\theta_0$ । (ध्यान दें कि $\theta_1+\theta_0=1$ , और यह बाधा है कि कोई एक पैरामीटर निरर्थक है।) इस मामले में संभावना फ़ंक्शन और फिशर सूचना मैट्रिक्स (FIM) हैं:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

ध्यान दें कि इन दोनों FIM के निर्धारक समान हैं। इसके अलावा, यह संपत्ति श्रेणीबद्ध मॉडल (यानी दो से अधिक राज्यों) के अधिक सामान्य मामले तक फैली हुई है। यह लॉग-लीनियर मॉडल का विस्तार करने के लिए प्रकट होता है, जिसमें शून्य होने के लिए बाध्य मापदंडों के विभिन्न सबसेट होते हैं; इस मामले में, अतिरिक्त "निरर्थक" पैरामीटर लॉग विभाजन फ़ंक्शन से मेल खाता है, और दो FIM निर्धारकों की समानता को बड़े FIM के Schur पूरक के आधार पर दिखाया जा सकता है । (दरअसल, लॉग-लीनियर मॉडल के लिए छोटा एफआईएम बड़े एफआईएम का शूर पूरक है।)

क्या कोई समझा सकता है कि क्या यह संपत्ति पैरामीट्रिक मॉडल (जैसे सभी घातीय परिवारों) के एक बड़े सेट तक फैली हुई है , इस तरह के "विस्तारित" मापदंडों के आधार पर एफआईएम निर्धारकों को प्राप्त करने का विकल्प है? यानी किसी भी दिए गए सांख्यिकीय मॉडल को मापदंडों के साथ मान लें जो एक -dimensional स्थान में एम्बेडेड -dimensional कई गुना पर झूठ बोलते हैं। अब, यदि हम एक और आयाम (जो पूरी तरह से दूसरों के आधार पर विवश हैं) को शामिल करने के लिए मापदंडों के सेट का विस्तार करते हैं और एफआईएम आधारित उन मापदंडों की गणना करते हैं , तो क्या हम हमेशा मूल के आधार पर वही निर्धारक प्राप्त करेंगे (स्वतंत्र) पैरामीटर? साथ ही, ये दोनों FIM कैसे संबंधित हैं? $n$ $n$ $(n+1)$ $(n+1)$ $n$

मेरे द्वारा यह प्रश्न पूछने का कारण यह है कि अतिरिक्त पैरामीटर वाला FIM अक्सर सरल दिखाई देता है। मेरा पहला विचार यह है कि यह सामान्य रूप से काम नहीं करना चाहिए। FIM में प्रत्येक पैरामीटर को लॉग लाइबिलिटी wrt के आंशिक व्युत्पन्न की गणना करना शामिल है। ये आंशिक व्युत्पत्ति मानती हैं कि, जबकि प्रश्न में पैरामीटर बदल जाता है, अन्य सभी पैरामीटर स्थिर रहते हैं, जो कि एक बार अतिरिक्त (विवश) पैरामीटर को शामिल करने के बाद सही नहीं होता है। इस मामले में, यह मुझे लगता है कि आंशिक डेरिवेटिव अब मान्य नहीं हैं क्योंकि हम मान नहीं सकते कि अन्य पैरामीटर स्थिर हैं; हालाँकि, मुझे अभी तक इस बात का सबूत नहीं मिला है कि यह वास्तव में एक समस्या है। (यदि आश्रित मापदंडों के साथ आंशिक डेरिवेटिव समस्याग्रस्त हैं, तो कुल व्युत्पन्न हैं $(n+1) \times (n+1)$ इसके बजाय जरूरत है? मैंने अभी तक कुल डेरिवेटिव के साथ एफआईएम की गणना करने का एक उदाहरण नहीं देखा है, लेकिन शायद यही समाधान है ...)

एकमात्र उदाहरण जो मुझे ऑनलाइन मिला, जो मापदंडों के ऐसे "विस्तारित" सेट के आधार पर एफआईएम की गणना करता है, निम्नलिखित है: इन नोटों में श्रेणीबद्ध वितरण के लिए एक उदाहरण है, आवश्यक आंशिक डेरिवेटिव को सामान्य रूप से गणना करना (जैसे कि प्रत्येक पैरामीटर स्वतंत्र है (भले ही एक बाधा मापदंडों के बीच मौजूद हो)।

— टायलर स्ट्रीटर
स्रोत

अच्छा प्रश्न! मुझे लगता है कि बर्नौली रैंडम वैरिएबल का दो-पैरामीटर विनिर्देश बल्कि दुर्भाग्यपूर्ण उदाहरण है, क्योंकि बिना बाधा के, अब घनत्व होने के लिए बाध्य नहीं है। क्या आप उदाहरण के लिए, घुमावदार घातीय परिवार के लिए अपने अवलोकन को पुन: पेश कर सकते हैं?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— खाशा

@ खाशा मैं यह मान रहा हूं कि दो-पैरामीटर मामले (आपके द्वारा उल्लेखित एक) में बाधा लागू होता है, इसलिए संभावना फ़ंक्शन अभी भी एक वैध घनत्व होगा। इसके अलावा, हां, मैं इस अवलोकन को पुन: पेश कर सकता हूं जैसे कि लॉग-लीनियर मॉडल के लिए शून्य के लिए बाध्य किए गए मापदंडों के विभिन्न सबसेट के साथ; इस स्थिति में, "निरर्थक" पैरामीटर लॉग विभाजन फ़ंक्शन से मेल खाता है।

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— टायलर स्ट्रीटर

बारे में कैसे ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— खाशा

जवाबों:

सामान्य , सूचना मैट्रिक्स घुमावदार सामान्यतो, आपका अवलोकन यह निर्धारित करता है कि समान होना सार्वभौमिक नहीं है, लेकिन यह पूरी कहानी नहीं है। $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

आमतौर पर, अगर reparametrization तहत सूचना मैट्रिक्स है तो, यह देखना मुश्किल नहीं है मूल मापदंडों के लिए सूचना मैट्रिक्स जहां परिवर्तन का याकूब है । $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

बर्नौली उदाहरण के लिए और । तो, याकूबियन और इस प्रकार $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

घुमावदार सामान्य उदाहरण के लिए,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

मुझे लगता है कि अब आप आसानी से निर्धारकों से संबंधित हो सकते हैं।

कमेंट के बाद फॉलो करें

यदि मैंने आपको सही तरीके से समझा, तो FIM तब तक मान्य है जब तक आप मापदंडों को सार्थक तरीके से बढ़ाते हैं: नए पैरामीरिजेशन के तहत संभावना एक वैध घनत्व होनी चाहिए। इसलिए, मैंने बर्नौली उदाहरण को दुर्भाग्यपूर्ण कहा।

मुझे लगता है कि आपके द्वारा दिए गए लिंक में श्रेणीबद्ध चर के लिए FIM की व्युत्पत्ति में एक गंभीर दोष है, क्योंकि हमारे पास और । नकारात्मक हेस्सियन की उम्मीद , लेकिन स्कोर वैक्टर के सहसंयोजक के लिए नहीं। यदि आप बाधाओं की उपेक्षा करते हैं, तो सूचना मैट्रिक्स समानता पकड़ में नहीं आती है। $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
स्रोत

जैकबियन परिवर्तन दृष्टिकोण का उल्लेख करने के लिए और सरल, स्पष्ट उदाहरणों के लिए धन्यवाद। क्या आप (या कोई और) निम्नलिखित मुद्दे पर टिप्पणी कर सकते हैं जो अभी भी मुझे चिंतित करता है: जब हम एक आयाम के रूप में मापदंडों के सेट का विस्तार कर रहे हैं, जैसा कि हम यहां कर रहे हैं, हम मापदंडों के बीच एक बाधा का परिचय देते हैं जैसे कि कोई भी आंशिक व्युत्पन्न (जैसा कि आवश्यक हो) FIM) को अमान्य होना चाहिए क्योंकि अब, जब हम एक पैरामीटर बदलते हैं, तो अन्य अब स्थिर नहीं होते हैं। तो क्या एफआईएम मापदंडों के विस्तारित सेट के लिए भी मान्य है, यह देखते हुए कि अतिरिक्त बाधा के कारण आंशिक डेरिवेटिव अमान्य हैं?

— टायलर स्ट्रीटर

@TylerStreeter मैंने आपके मुद्दे को संबोधित करने के लिए अपना जवाब अपडेट कर दिया है।

— खाशा

ऐसा प्रतीत होता है कि परिणाम मापदंडों के बीच एक विशिष्ट प्रकार के संबंध के लिए है।

नीचे दिए गए परिणामों के लिए पूर्ण सामान्यता का दावा किए बिना, मैं "एक से दो मापदंडों" के मामले में चिपक जाता हूं। निरूपित निहित समीकरण कि रिश्ता है कि दो पैरामीटर के बीच होना चाहिए पकड़ व्यक्त करता है। फिर "सही विस्तारित", "दो-पैरामीटर" लॉग-लाइबिलिटी (न कि ओपी गणना -वे क्या वहां पहुंचेगी) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ के समान वास्तविक संभावना बराबर है , चूंकि , ( a) गुणक) और हम दो मापदंडों को स्वतंत्र मान सकते हैं, जबकि हम अंतर करते हैं।

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

मापदंडों के संबंध में डेरिवेटिव को निरूपित करने के लिए सदस्यता का उपयोग करना (एक उपप्रकार पहले व्युत्पन्न, दो सदस्यता दूसरा व्युत्पन्न), सही विस्तारित लॉग-लाइबिलिटी के हेस्सियन के निर्धारक होंगे

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

इसके बजाय ओपी क्या कर रहा है?

वह गलत संभावना को दो मापदंडों के बीच के संबंध को "अनदेखा" कर रहे हैं, और बाधा । वह फिर भेदभाव के साथ आगे बढ़ता है और प्राप्त करता है $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

यह स्पष्ट है कि सामान्य बराबर नहीं है । $(2)$ $(1)$

लेकिन अगर , तो $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

इसलिए यदि वास्तविक पैरामीटर और निरर्थक पैरामीटर के बीच संबंध ऐसा है कि अंतर्निहित फ़ंक्शन का दूसरा आंशिक डेरिवेटिव जो उन्हें लिंक करता है सभी शून्य हैं , तो दृष्टिकोण जो मूल रूप से गलत है, "सही" समाप्त होता है।

बर्नौली मामले के लिए, हमारे पास वास्तव में है

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADDENDUM
@Khahaa प्रश्न का उत्तर देने के लिए और यहाँ यांत्रिकी को दिखाने के लिए, हम एक अनावश्यक पैरामीटर के साथ निर्दिष्ट संभावना पर विचार करते हैं, लेकिन यह भी एक कसौटी के तहत कि अनावश्यक पैरामीटर को सही के साथ जोड़ता है। हम लॉग-लाइक के साथ क्या करते हैं, उन्हें अधिकतम किया जाता है-यहाँ हमारे पास विवश अधिकतमकरण का मामला है। आकार का एक नमूना मानें : $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

इस समस्या में एक लैंगरेंजियन है (जिसे अनौपचारिक रूप से मैंने ऊपर "सही विस्तारित संभावना" कहा था),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

अधिकतम के लिए पहले-क्रम की शर्तें हैं

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

जिसके लिए हम संबंध प्राप्त करते हैं

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

उस बाधा का उपयोग करना जिसके तहत उपरोक्त मान्य हैं, हम प्राप्त करते हैं $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

जैसा हमें होना चाहिए।

इसके अलावा, चूंकि बाधा सभी मापदंडों में रैखिक है , इसलिए इसका दूसरा डेरिवेटिव शून्य होगा। यह इस तथ्य से परिलक्षित होता है कि लैग्रांगियन के पहले-व्युत्पन्न में, गुणक "अकेले खड़ा होता है" और इसे तब समाप्त किया जाएगा जब हम लैरागैंग का दूसरा डेरिवेटिव लेंगे। जो बदले में हमें एक हेसियन की ओर ले जाएगा, जिसका निर्धारक मूल एक-पैरामीटर लॉग-लाइबिलिटी के दूसरे व्युत्पन्न (बराबर) के बराबर होगा, बाधा डालने के बाद भी (जो ओपी करता है)। फिर दोनों मामलों में अपेक्षित मूल्य का नकारात्मक लेना, इस गणितीय तुल्यता को नहीं बदलता है, और हम "दो-आयामी फिशर सूचना = दो-आयामी फिशर सूचना के निर्धारक" संबंध में पहुंचते हैं। अभी $\lambda$ यह देखते हुए कि सभी मापदंडों में बाधा रैखिक है, ओपी अधिकतम परिणाम प्राप्त करने के लिए फ़ंक्शन में गुणक के साथ बाधा को पेश किए बिना एक ही परिणाम (दूसरे-व्युत्पन्न स्तर पर) प्राप्त करता है, क्योंकि दूसरे व्युत्पन्न स्तर पर, उपस्थिति / प्रभाव ऐसे मामले में बाधा गायब हो जाती है।

इन सभी को पथरी के साथ करना है, न कि सांख्यिकीय अवधारणाओं के साथ।

— एलेकोस पापाडोपोलोस
स्रोत

मैं आपके तर्क का पालन नहीं कर सकता। क्या आप यह बता सकते हैं कि लैरंगियन की तरह को "सही एक्सटेंडेड", "टू-पैरामीटर" लॉग-लाइकैलिटी क्यों माना जाता है? इसके अलावा, हेसियन मेरे लिए पूरी तरह से रहस्यमय है। क्या आप देखी गई सूचना मैट्रिक्स की गणना कर रहे हैं?

L^{e}

$L^e$

— खाशा

@ खाशा यह स्थापित शब्दावली है कि "हेसियन" एक बहुभिन्नरूपी फ़ंक्शन के दूसरे डेरिवेटिव का मैट्रिक्स है।

— एलेकोस पापाडोपोलोस

यह मददगार होगा अगर यहां के डाउनवोटर्स ने एक उत्तर पोस्ट किया - क्योंकि ओपी का विशिष्ट उदाहरण मौजूद है-और स्पष्टीकरण की मांग करता है।

— एलेकोस पापाडोपोलोस

क्षमा करें, यदि मेरा प्रश्न अस्पष्ट था। मेरा प्रश्न यह था कि आपने हेसियन को सूचना मैट्रिक्स से कैसे जोड़ा, क्योंकि मुझे इस पर कोई अपेक्षा नहीं थी और परिणाम देखने में सूचना मैट्रिक्स की तरह लग रहा था। इसके अलावा, क्या आप समझा सकते हैं कि सही लॉजिकलीहुड क्यों है? मुझे लगता है कि आप सीमित संभावना का मूल्यांकन करने के कुछ राजसी तरीके का उपयोग कर रहे हैं, लेकिन मुझे समझ नहीं आता कि यह कैसे काम करता है।

L^{e}

$L^e$

— खाशा

@ खाशा मैंने ओपी के उदाहरण का उपयोग करते हुए एक एक्सपोजर जोड़ा।

— एलेकोस पापाडोपोलोस