अवलोकन सूचना मैट्रिक्स अपेक्षित सूचना मैट्रिक्स का एक सुसंगत अनुमानक है?

Question

मैं यह साबित करने की कोशिश कर रहा हूं कि अवलोकन किया गया सूचना मैट्रिक्स कमजोर रूप से अधिकतम अधिकतम संभावना अनुमानक (एमएलई) पर मूल्यांकन किया गया है, यह अपेक्षित सूचना मैट्रिक्स का कमजोर संगत आकलनकर्ता है। यह एक व्यापक रूप से उद्धृत परिणाम है, लेकिन कोई भी एक संदर्भ या प्रमाण नहीं देता है (मुझे लगता है कि मुझे लगता है कि Google परिणामों और मेरे आँकड़े पाठ्यपुस्तकों के पहले 20 पृष्ठ हैं)!

MLEs के एक कमजोर सुसंगत अनुक्रम का उपयोग करके मैं बड़ी संख्या (WLLN) के कमजोर कानून और निरंतर मैपिंग प्रमेय का उपयोग कर सकता हूं जो मुझे चाहिए। हालाँकि मेरा मानना ​​है कि निरंतर मैपिंग प्रमेय का उपयोग नहीं किया जा सकता है। इसके बजाय मुझे लगता है कि बड़ी संख्या (ULLN) के समान कानून का उपयोग करने की आवश्यकता है। क्या किसी को उस संदर्भ का पता है जिसका कोई प्रमाण है? मेरे पास ULLN में एक प्रयास है, लेकिन संक्षिप्तता के लिए इसे अभी से छोड़ दें।

मैं इस प्रश्न की लंबाई के लिए माफी माँगता हूँ लेकिन अंकन को पेश करना पड़ता है। अंकन फॉलोवर्स के रूप में है (मेरा प्रमाण अंत में है)।

मान लें हम यादृच्छिक चर के एक आईआईडी नमूना है $\{Y_1,\ldots,Y_N\}$ घनत्व के साथ $f(\tilde{Y}|\theta)$ , जहां $\theta\in\Theta\subseteq\mathbb{R}^{k}$ (यहाँ $\tilde{Y}$ एक सिर्फ एक ही घनत्व के साथ सामान्य यादृच्छिक चर है नमूने के किसी भी सदस्य के रूप में)। वेक्टर $Y=(Y_1,\ldots,Y_N)^{T}$ उन सभी नमूना वैक्टरों का वेक्टर है जहां $Y_{i}\in\mathbb{R}^{n}$ सभी के लिए$i=1,\ldots,N$ । घनत्व का सच पैरामीटर मान है$\theta_{0}$ , और θ एन ( वाई ) की दुर्बलता से लगातार अधिकतम संभावना आकलनकर्ता (MLE) है θ 0 । नियमितता की शर्तों के अधीन फिशर सूचना मैट्रिक्स के रूप में लिखा जा सकता है$\hat{\theta}_{N}(Y)$$\theta_{0}$

$$I(\theta)=-E_\theta \left[H_{\theta}(\log f(\tilde{Y}|\theta)\right]$$

जहां ${H}_{\theta}$ हेसियन मैट्रिक्स है। नमूना समकक्ष है

$$I_N(\theta)=\sum_{i=1}^N I_{y_i}(\theta),$$

जहां $I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$ । मनाया जानकारी मैट्रिक्स है;

$J(\theta) = -H_\theta(\log f(y|\theta)$ ,

(कुछ लोगों की मांग मैट्रिक्स पर मूल्यांकन किया जाता है θ लेकिन कुछ नहीं करते हैं)। नमूना देखा सूचना मैट्रिक्स है;$\hat{\theta}$

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

जहां $J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$ ।

मैं आकलनकर्ता की संभावना में अभिसरण साबित कर सकते हैं $N^{-1}J_N(\theta)$ के लिए $I(\theta)$ , लेकिन की नहीं $N^{-1}J_{N}(\hat{\theta}_N(Y))$ के लिए $I(\theta_{0})$ । यहाँ मेरा प्रमाण अब तक है;

अब $(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$ तत्व है $(r,s)$ की $J_N(\theta)$ , किसी के लिए $r,s=1,\ldots,k$। यदि नमूना आईआईडी है, तो बड़ी संख्या (डब्ल्यूएलएलएन) के कमजोर कानून द्वारा, इन सारांशों का औसत संभावना में परिवर्तित हो जाता है $-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$ इस प्रकार। $N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$ सभी$r,s=1,\ldots,k$ , और इसलिए$N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$ । दुर्भाग्य से हम बस निष्कर्ष नहीं निकाल सकता एन - 1 जे एन ( θ एन ( वाई ) ) पी → मैं ( θ0 ) सतत मानचित्रण प्रमेय के बाद का उपयोग करके एन - 1 जे एन ( ⋅ ) एक ही कार्य नहीं है के रूप में मैं ( ⋅ ) ।$N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$$N^{-1}J_{N}(\cdot)$$I(\cdot)$

इस पर किसी भी प्रकार की सहायताबहुत प्रशंसनीय होगी।

Comments

संबंधित: अनुभवजन्य फिशर सूचना मैट्रिक्स का अभिसरण दर ।

पते के नीचे मेरा जवाब आपके सवाल का जवाब देता है?

— दापज

@ दपज़ कृपया अब तक आपको जवाब न देने के लिए मेरी ईमानदारी से क्षमायाचना स्वीकार करें - मैंने यह मानने की गलती की कि कोई भी जवाब नहीं देगा। नीचे दिए गए आपके उत्तर के लिए धन्यवाद - मैंने इसे तब तक अपवित्र किया है क्योंकि मैं देख सकता हूं कि यह सबसे उपयोगी है, हालांकि मुझे इस पर विचार करने के लिए थोड़ा खर्च करने की आवश्यकता है। आपके समय के लिए धन्यवाद, और मैं जल्द ही आपकी पोस्ट का जवाब दूंगा।

— दांडार

Answer 1

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

मुझे लगता है कि बड़ी संख्या में किसी प्रकार के एक समान कानून की स्थापना सीधे तौर पर संभव दृष्टिकोण है।

यहाँ एक और है।

हम यह दिखाना चाहते हैं कि J N ( θ M L E )एन पी ⟶ मैं(θ*)।$\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

(जैसा कि आपने कहा, हम WLLN से है कि जम्मू एन ( θ )एन पी ⟶ मैं(θ)। लेकिन यह सीधे हमारी मदद नहीं करता है।)$\frac{J^N(\theta)}{N} \convp I(\theta)$

One possible strategy is to show that

$$|I(\theta^*) - \frac{J^N(\theta^*)}{N}| \convp 0.$$

and

$$|\frac{J^N(\theta_{MLE})}{N} - \frac{J^N(\theta^*)}{N}| \convp 0$$

If both of the results are true, then we can combine them to get

$$|I(\theta^*) - \frac{J^N(\theta_{MLE})}{N}| \convp 0,$$

which is exactly what we want to show.

The first equation follows from the weak law of large numbers.

The second almost follows from the continuous mapping theorem, but unfortunately our function $g()$ that we want to apply the CMT to changes with $N$: our $g$ is really $g_N(\theta) := \frac{J^N(\theta)}{N}$. So we cannot use the CMT.

(Comment: If you examine the proof of the CMT on Wikipedia, notice that the set $B_\delta$ they define in their proof for us now also depends on $n$. We essentially need some sort of equicontinuity at $\theta^*$ over our functions $g_N(\theta)$.)

Fortunately, if you assume that the family $\mathcal{G} = \{g_N | N=1,2,\ldots\}$ is stochastically equicontinuous at $\theta^*$, then it immediately follows that for $\theta_{MLE} \convp \theta^*$,

$$\begin{align*} |g_n(\theta_{MLE}) - g_n(\theta^*)| \convp 0. \end{align*}$$

(See here: http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf for a definition of stochastic equicontinuity at $\theta^*$, and a proof of the above fact.)

Therefore, assuming that $\mathcal{G}$ is SE at $\theta^*$, your desired result holds true and the empirical Fisher information converges to the population Fisher information.

Now, the key question of course is, what sort of conditions do you need to impose on $\mathcal{G}$ to get SE? It looks like one way to do this is to establish a Lipshitz condition on the entire class of functions $\mathcal{G}$ (see here: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic-equicontinuity.original.pdf ).

Answer 2

The answer above using stochastic equicontinuity works very well, but here I am answering my own question by using a uniform law of large numbers to show that the observed information matrix is a strongly consistent estimator of the information matrix , i.e. $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$ if we plug-in a strongly consistent sequence of estimators. I hope it is correct in all details.

We will use $I_{N}=\{1,2,...,N\}$ to be an index set, and let us temporarily adopt the notation $J(\tilde{Y},\theta):=J(\theta)$ in order to be explicit about the dependence of $J(\theta)$ on the random vector $\tilde{Y}$. We shall also work elementwise with $(J(\tilde{Y},\theta))_{rs}$ and $(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$, $r,s=1,...,k$, for this discussion. The function $(J(\cdot,\theta))_{rs}$ is real-valued on the set $\mathbb{R}^{n}\times\Theta^{\circ}$, and we will suppose that it is Lebesgue measurable for every $\theta\in\Theta^{\circ}$. A uniform (strong) law of large numbers defines a set of conditions under which

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

The conditions that must be satisfied in order that (1) holds are (a) $\Theta^{\circ}$ is a compact set; (b) $(J(\tilde{Y},\theta))_{rs}$ is a continuous function on $\Theta^{\circ}$ with probability 1; (c) for each $\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$ is dominated by a function $h(\tilde{Y})$, i.e. $|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$; and (d) for each $\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$;. These conditions come from Jennrich (1969, Theorem 2).

Now for any $y_{i}\in\mathbb{R}^{n}$, $i\in I_{N}$ and $\theta'\in S\subseteq\Theta^{\circ}$, the following inequality obviously holds

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

Suppose that $\{\hat{\theta}_{N}(Y)\}$ is a strongly consistent sequence of estimators for $\theta_{0}$, and let $\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$ be an open ball in $\mathbb{R}^{k}$ with radius $\delta_{N_{1}}\rightarrow 0$ as $N_{1}\rightarrow\infty$, and suppose $K$ is compact. Then since $\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$ for $N$ sufficiently large enough we have $P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$ for sufficiently large $N$. Together with (2) this implies

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

Now $\Theta_{N_{1}}\subseteq\Theta^{\circ}$ implies conditions (a)-(d) of Jennrich (1969, Theorem 2) apply to $\Theta_{N_{1}}$. Thus (1) and (3) imply

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

Since $(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$ then (4) implies that $N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$. Note that (3) holds however small $\Theta_{N_{1}}$ is, and so the result in (4) is independent of the choice of $N_{1}$ other than $N_{1}$ must be chosen such that $\Theta_{N_{1}}\subseteq \Theta^{\circ}$. This result holds for all $r,s=1,...,k$, and so in terms of matrices we have $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$.