हेसियन मैट्रिक्स और कोवरियनस मैट्रिक्स के बीच संबंध

जब मैं अधिकतम संभावना अनुमान का अध्ययन कर रहा हूं, अधिकतम संभावना अनुमान में अनुमान लगाने के लिए, हमें विचरण को जानना होगा। विचरण का पता लगाने के लिए, मुझे क्रैमर के राव लोअर बाउंड को जानने की आवश्यकता है, जो वक्रता पर दूसरे व्युत्पन्न के साथ एक हेसियन मैट्रिक्स जैसा दिखता है। मैं सहसंयोजक मैट्रिक्स और हेसियन मैट्रिक्स के बीच संबंध को परिभाषित करने के लिए मिश्रित हूं। प्रश्न के बारे में कुछ स्पष्टीकरण सुनने की आशा है। एक सरल उदाहरण की सराहना की जाएगी।

— user122358
स्रोत

आपको पहले फिशर सूचना मैट्रिक्स और हेस्सियन के संबंध और मानक त्रुटियों के बारे में इस मूल प्रश्न की जांच करनी चाहिए

मान लीजिए कि हमारे पास एक सांख्यिकीय मॉडल (वितरण का परिवार) है $\{f_{\theta}: \theta \in \Theta\}$ । सबसे सामान्य मामले में हमारे पास है $dim(\Theta) = d$ , इसलिए यह परिवार द्वारा परिचालित है $\theta = (\theta_1, \dots, \theta_d)^T$ । कुछ नियमित परिस्थितियों के तहत, हमारे पास है

{मैं}_{मैं, जे} (θ) = - इ_{θ} [\frac{\partial^{2} एल (एक्स; θ)}{\partial θ_{मैं} \partial θ_{जे}}] = - इ_{θ} [{एच}_{मैं, जे} (एल (एक्स; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

कहाँ पे $I_{i,j}$ एक फिशर सूचना मैट्रिक्स है (के एक समारोह के रूप में) $\theta$ ) तथा $X$ मनाया गया मान (नमूना) है

एल (एक्स; θ) = एल n (च_{θ} (एक्स)), कुछ के लिए θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

तो फिशर सूचना मैट्रिक्स कुछ के तहत लॉग-प्रायिकता के हेसियन का एक नकारात्मक अपेक्षित मूल्य है $\theta$

अब मान लें कि हम अज्ञात पैरामीटर के कुछ वेक्टर फ़ंक्शन का अनुमान लगाना चाहते हैं $\psi(\theta)$ । आमतौर पर यह वांछित है कि अनुमान लगाने वाला $T(X) = (T_1(X), \dots, T_d(X))$ निष्पक्ष होना चाहिए, अर्थात

\forall_{θ \in Θ} इ_{θ} [टी (एक्स)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

क्रामर राव लोअर बाउंड ने कहा कि हर निष्पक्ष के लिए $T(X)$ $cov_{\theta}(T(X))$ संतुष्ट

सी ओ v_{θ} (टी (एक्स)) \geq \frac{\partial ψ (θ)}{\partial θ} {मैं}^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{टी} = बी (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

कहाँ पे $A \ge B$ matrices के लिए इसका मतलब है कि $A - B$ है सकारात्मक अर्द्ध निश्चित , $\frac{\partial\psi(\theta)}{\partial\theta}$ बस एक याकूब है $J_{i,j}(\psi)$ । ध्यान दें कि अगर हम अनुमान लगाते हैं $\theta$ , अर्थात् $\psi(\theta) = \theta$ , ऊपर को सरल करता है

सी ओ v_{θ} (टी (एक्स)) \geq {मैं}^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

लेकिन यह हमें वास्तव में क्या बताता है? उदाहरण के लिए, उसे याद करें

v ए {आर}_{θ} ({टी}_{मैं} (एक्स)) = [सी ओ v_{θ} (टी (एक्स))]_{मैं, मैं}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

और हर सकारात्मक अर्ध-निश्चित मैट्रिक्स के लिए $A$ विकर्ण तत्व गैर-नकारात्मक होते हैं

\forall_{मैं} ए_{मैं, मैं} \geq 0

$\forall_i\ A_{i,i} \ge 0$

ऊपर से हम यह निष्कर्ष निकाल सकते हैं कि प्रत्येक अनुमानित तत्व का विचरण मैट्रिक्स के विकर्ण तत्वों से घिरा है $B(\theta)$

\forall_{मैं} v ए {आर}_{θ} ({टी}_{मैं} (एक्स)) \geq [बी (θ)]_{मैं, मैं}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

इसलिए CRLB हमें हमारे अनुमानक के विचरण को नहीं बताता है, लेकिन हमारे अनुमानक को wheter या नहीं इष्टतम है , अर्थात यदि यह सभी निष्पक्ष अनुमानकों में सबसे कम सहसंयोजक है।

— Łुकाज़ ग्रैड
स्रोत

मैं यहां आपके स्पष्टीकरण की सराहना करता हूं। मैं वास्तव में एक गणित व्यक्ति नहीं हूं, लेकिन मैं गणित को गंभीरता से सीखने के तरीके में हूं। हालाँकि, यह अभी भी मुझे बहुत सार लगता है। मुझे उम्मीद है कि सरल संख्याओं के साथ कुछ कोमल उदाहरण हैं, जो इसे निश्चित रूप से समझेंगे।

— user122358