फिशर सूचना मैट्रिक्स और हेस्सियन के संबंध और मानक त्रुटियों के बारे में मूल प्रश्न

54

ठीक है, यह काफी बुनियादी सवाल है, लेकिन मैं थोड़ा भ्रमित हूं। अपनी थीसिस में मैं लिखता हूं:

(मनाया) फिशर सूचना प्रणाली के विकर्ण तत्वों के वर्गमूल के व्युत्क्रम की गणना करके मानक त्रुटियां पाई जा सकती हैं:

\begin{aligned} {रों}_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{मैं (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$ के बाद से आर में अनुकूलन आदेश को कम करता है (मनाया गया) फिशर सूचना मैट्रिक्स हेस्सियन का प्रतिलोम की गणना के द्वारा पाया जा सकता है:

- \log L

$-\log\mathcal{L}$

\begin{aligned} मैं (\hat{μ}, {\hat{σ}}^{2}) = {एच}^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

मेरा मुख्य प्रश्न: क्या यह सही है जो मैं कह रहा हूं ?

मैं थोड़ा उलझन में हूं, क्योंकि पेज 7 पर इस स्रोत में यह कहा गया है:

सूचना मैट्रिक्स हेसियन मैट्रिक्स के अपेक्षित मूल्य का नकारात्मक है

(तो हेसियन का कोई उलटा नहीं।)

जबकि पृष्ठ 7 (फुटनोट 5) पर इस स्रोत में यह कहा गया है:

देखी गई फिशर जानकारी बराबर है $(-H)^{-1}$ ।

(तो यहाँ उलटा है।)

मुझे माइनस साइन के बारे में पता है और इसका इस्तेमाल कब करना है और कब नहीं, लेकिन उलटा लेने में कोई फर्क क्यों है या नहीं?

maximum-likelihood fisher-information

— जेन बोल्ड
स्रोत

@COOLSerdash आपके सुधार और +1 के लिए धन्यवाद, लेकिन यह स्रोत: unc.edu/~monogan/computing/r/MLE_in_R.pdf पृष्ठ 7 स्पष्ट रूप से कहता है कि फिशर जानकारी हेसियन के प्रतिरूप के बराबर है?

— जेन बोउल

@COOLSerdash ठीक है, आप इसे उत्तर के रूप में पोस्ट करना चाह सकते हैं।

— जेन बोथ

75

युडी पवन ने अपनी पुस्तक इन ऑल लाइकेल्डिहस में लिखा है कि अधिकतम संभावना अनुमानों (एमएलई) पर मूल्यांकन किए गए लॉग- लाइबिलिटी के दूसरे व्युत्पन्न फिशर जानकारी है ( यह दस्तावेज़ भी देखें , पेज 2)। यह वास्तव optimमें Rबदले में सबसे अधिक अनुकूलन एल्गोरिदम है : हेस्सियन ने MLE पर मूल्यांकन किया। जब नकारात्मकलॉग-संभावना की संभावना कम हो जाती है, नकारात्मक हेसियन को वापस कर दिया जाता है। जैसा कि आप सही ढंग से इंगित करते हैं, MLE की अनुमानित मानक त्रुटियां फिशर सूचना मैट्रिक्स के व्युत्क्रम के विकर्ण तत्वों की वर्गमूल हैं। दूसरे शब्दों में: हेसियन के व्युत्क्रम के विकर्ण तत्वों (या नकारात्मक हेसियन) की अनुमानित मानक त्रुटियां हैं।

सारांश

MLE में मूल्यांकन किए गए ऋणात्मक हेसियन MLE में मूल्यांकन किए गए फिशर सूचना मैट्रिक्स के समान हैं।
आपके मुख्य प्रश्न के बारे में: नहीं, यह सही नहीं है कि मनाया गया फिशर जानकारी हेसियन (नकारात्मक) का संकेत देकर मिल सकती है।
आपके दूसरे प्रश्न के बारे में: (नकारात्मक) हेसियन का विलोम एसिम्प्टोटिक सहसंयोजक मैट्रिक्स का एक अनुमानक है। इसलिए, सहसंयोजक मैट्रिक्स के विकर्ण तत्वों की वर्ग जड़ें मानक त्रुटियों के अनुमानक हैं।
मुझे लगता है कि दूसरा दस्तावेज़ जिसे आप लिंक करते हैं, वह गलत है।

औपचारिक रूप से

चलो एक लॉग-संभावना समारोह हो। फिशर जानकारी मैट्रिक्स एक सममित है प्रविष्टियों युक्त मैट्रिक्स: मनाया फिशर जानकारी मैट्रिक्स बस है , सूचना मैट्रिक्स का अधिकतम संभावना अनुमान (MLE) पर मूल्यांकन किया गया। हेसियन को इस प्रकार परिभाषित किया गया है: $l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

मैं (θ) = - \frac{\partial^{2}}{\partial θ_{मैं} \partial θ_{जे}} एल (θ), 1 \leq मैं, जे \leq पी

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

एच (θ) = \frac{\partial^{2}}{\partial θ_{मैं} \partial θ_{जे}} एल (θ), 1 \leq मैं, जे \leq पी

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$ यह मापदंडों के संबंध में संभावना फ़ंक्शन के दूसरे डेरिवेटिव के मैट्रिक्स के अलावा और कुछ नहीं है। यह इस प्रकार है कि यदि आप नकारात्मक लॉग-लाइक को कम करते हैं , तो लौटा हुआ हेसियन मनाया गया फ़िशर सूचना मैट्रिक्स के बराबर है जबकि इस मामले में कि आप लॉग-लाइबिलिटी को अधिकतम करते हैं, तो नकारात्मक हेसियन मनाया गया सूचना मैट्रिक्स है।

इसके अलावा, फिशर सूचना मैट्रिक्स का व्युत्क्रम एसिम्प्टोटिक सहसंयोजक मैट्रिक्स का एक अनुमानक है: मानक त्रुटियां तब सहसंयोजक मैट्रिक्स के विकर्ण तत्वों के वर्गमूल हैं। अधिकतम संभावना अनुमान के एसिम्प्टोटिक वितरण के लिए, हम जहाँ सही पैरामीटर मान को दर्शाता है। इसलिए, अधिकतम संभावना अनुमानों की अनुमानित मानक त्रुटि द्वारा दी गई है:

वी ए आर ({\hat{θ}}_{म एल}) = [मैं ({\hat{θ}}_{म एल})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{म एल} \overset{ए}{~} एन (θ_{0}, [मैं ({\hat{θ}}_{म एल})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

एस इ ({\hat{θ}}_{म एल}) = \frac{1}{\sqrt{मैं ({\hat{θ}}_{म एल})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
स्रोत

1

कहना चाहिए "जब नकारात्मक लॉग-इन की संभावना कम हो जाती है " (या अनुकूलित )।

— cmo

8

(अपेक्षित) फिशर जानकारी ; देखी गई (फिशर) जानकारी सिर्फ , इसलिए इसे इसलिए नहीं बुलाया जाता क्योंकि इसका मूल्यांकन की अधिकतम-समानता अनुमान पर किया जाता है , लेकिन क्योंकि यह संभव टिप्पणियों के औसत के बजाय देखे गए डेटा का एक फ़ंक्शन है। यह संभवतः एक पूर्ण घातांक परिवार में विहित पैरामीटर के बारे में विचार करते हुए परिचित उदाहरणों द्वारा अस्पष्ट है, जब ।

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - फिर से बहाल करें मोनिका

6

संभावना कार्यों का अनुमान लगाना दो चरणों वाली प्रक्रिया को मजबूर करता है।

सबसे पहले, एक लॉग-लाइबिलिटी फ़ंक्शन को घोषित करता है। तब एक लॉग-लाइबिलिटी फ़ंक्शंस का अनुकूलन करता है। कोई बात नहीं।

$-1*l$ $l$

$(-H)^-1$

— एडेलिनो मार्टिंस
स्रोत