क्यों वास्तव में मनाया फिशर जानकारी का उपयोग किया जाता है?

17

मानक अधिकतम संभावना सेटिंग में (iid नमूना घनत्व ) के साथ कुछ वितरण से ) और सही ढंग से फिशर मॉडल के मामले में द्वारा जानकारी दी गई है $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

जहां उम्मीद डेटा को उत्पन्न करने वाले वास्तविक घनत्व के संबंध में लिया जाता है। मैंने पढ़ा है कि फिशर जानकारी

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

प्राथमिक उपयोग किया जाता है क्योंकि (अपेक्षित) फिशर सूचना की गणना में शामिल अभिन्न कुछ मामलों में संभव नहीं हो सकता है। मुझे क्या भ्रमित करता है कि यहां तक कि अगर अभिन्न है, तो उम्मीद है कि सच्चे मॉडल के संबंध में अपेक्षा को लिया जाना चाहिए, जो अज्ञात पैरामीटर मान । अगर ऐसा है तो ऐसा प्रतीत होता है कि को जाने बिना गणना करना असंभव है । क्या ये सच है? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— user2249626
स्रोत

13

आप चार quanties यहाँ मिल गया है: सच पैरामीटर , एक सुसंगत अनुमान , उम्मीद जानकारी पर और देखे गए जानकारी पर । ये मात्राएँ केवल समान रूप से समतुल्य हैं, लेकिन आमतौर पर इसका उपयोग कैसे किया जाता है। $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

देखी गई जानकारी अपेक्षित जानकारी के लिए संभाव्यता में जब से एक iid नमूना है । यहाँ : द्वारा वितरण w / r / t को इंगित करता है । यह अभिसरण बड़ी संख्याओं के कानून के कारण होता है, इसलिए यह धारणा कि यहाँ महत्वपूर्ण है।
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ $Y \sim f(\theta_0)$
जब आपको एक अनुमान मिल जाता है, जो सत्य पैरामीटर (यानी, सुसंगत) में प्रायिकता में परिवर्तित हो जाता है , तो आप इसे कहीं भी स्थानापन्न कर सकते हैं, जो ऊपर दिए गए निरंतर मैपिंग कारण आपको अनिवार्य रूप से ऊपर एक दिखाई देता है , और सभी के धर्मान्तरित होने के लिए जारी है। $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

$^*$ वास्तव में, यह थोड़ा सूक्ष्म प्रतीत होता है ।

टिप्पणी

जैसा कि आपने बताया, आमतौर पर देखी गई जानकारी के साथ काम करना आसान होता है क्योंकि विभेदन एकीकरण की तुलना में आसान होता है, और आपने कुछ संख्यात्मक अनुकूलन के दौरान इसका मूल्यांकन पहले ही कर लिया होगा। कुछ परिस्थितियों में (सामान्य वितरण) वे समान होंगे।

एफ्रॉन और हिंकले (1978) द्वारा लेख "अधिकतम संभावना आकलन की सटीकता का आकलन: अवलोकन वर्स की उम्मीद फिशर जानकारी" (परिमित नमूने के लिए देखी गई जानकारी के पक्ष में एक तर्क देता है)।

— एंड्रयू एम
स्रोत

4

कुछ सिमुलेशन अध्ययन हुए हैं जो एफ्रोन और हिंकले की सैद्धांतिक टिप्पणियों (जो एंड्रयू के जवाब में उल्लिखित हैं) का समर्थन करते हैं, यहां एक मुझे ऑफहैंड के बारे में पता है: माल्डोनाडो, जी और ग्रीनलैंड, एस (1994)। मॉडल-आधारित आत्मविश्वास अंतराल के प्रदर्शन की तुलना जब सही मॉडल फॉर्म अज्ञात होता है। महामारी विज्ञान, 5, 171-182। मैंने कोई अध्ययन नहीं देखा है कि संघर्ष। यह दिलचस्प है कि मानक GLM संकुल मुझे वाल्ड अंतराल की गणना करने के लिए अपेक्षित जानकारी का उपयोग करने के बारे में पता है। बेशक यह एक मुद्दा नहीं है जब (प्राकृतिक पैरामीटर में GLMs रैखिक के रूप में) मनाया और अपेक्षित सूचना मैट्रीस समान हैं।

— सैंडर ग्रीनलैंड
स्रोत