लॉजिस्टिक रिग्रेशन के लिए अधिकतम संभावना आकलनकर्ताओं का पूर्वाग्रह

मैं लॉजिस्टिक रिग्रेशन के लिए अधिकतम संभावना अनुमानक (MLE) पर तथ्य की एक जोड़ी को समझना चाहूंगा।

क्या यह सच है कि, सामान्य रूप से, लॉजिस्टिक रिग्रेशन के लिए MLE पक्षपाती है? मैं हाँ कहूँगा"। मुझे पता है, उदाहरण के लिए, नमूना आयाम MLEs के स्पर्शोन्मुख पूर्वाग्रह से संबंधित है।

क्या आप इस घटना के किसी भी प्राथमिक उदाहरण को जानते हैं?
यदि MLE पक्षपाती है, तो क्या यह सही है कि MLE का सहसंयोजक मैट्रिक्स अधिकतम संभावना फ़ंक्शन के हेसियन का विलोम है?

संपादित करें : मैं इस सूत्र से बहुत बार और बिना किसी प्रमाण के मिला हूं; यह मेरे लिए काफी मनमाना विकल्प है।

— Avitus
स्रोत

बाइनरी निर्भर चर के साथ सरल बाइनरी लॉजिस्टिक रिग्रेशन मॉडल पर विचार करें और केवल एक स्थिर और एक बाइनरी रेजिस्टर $T$ ।

पीआर (Y_{मैं} = 1 | {टी}_{मैं} = 1) = Λ (α + β {टी}_{मैं})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$ जहाँ लॉजिस्टिक cdf है, ।

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

लॉजिट फॉर्म में हमारे पास

\ln (\frac{पीआर (Y_{मैं} = 1 | {टी}_{मैं} = 1)}{1 - पीआर (Y_{मैं} = 1 | {टी}_{मैं} = 1)}) = α + β {टी}_{मैं}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

आपके पास आकार का एक नमूना है । निरूपित टिप्पणियों जहां की संख्या और उन जहां , और । निम्नलिखित अनुमानित सशर्त संभावनाओं पर विचार करें: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{पीआर} (Y = 1 | टी = 1) \equiv {\hat{पी}}_{1 | 1} = \frac{1}{n_{1}} \underset{{टी}_{मैं} = 1}{Σ} y_{मैं}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{पीआर} (Y = 1 | टी = 0) \equiv {\hat{पी}}_{1 | 0} = \frac{1}{n_{0}} \underset{{टी}_{मैं} = 0}{Σ} y_{मैं}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

फिर यह बहुत ही बुनियादी मॉडल एमएल अनुमानक के लिए बंद फार्म समाधान प्रदान करता है:

\hat{α} = \ln (\frac{{\hat{पी}}_{1 | 0}}{1 - {\hat{पी}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{पी}}_{1 | 1}}{1 - {\hat{पी}}_{1 | 1}}) - \ln (\frac{{\hat{पी}}_{1 | 0}}{1 - {\hat{पी}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

पूर्वाग्रह

यद्यपि और , समान संभावनाओं के निष्पक्ष अनुमानक हैं, MLE पक्षपाती हैं, क्योंकि गैर-रेखीय लघुगणक कार्य रास्ते में हो जाता है -imagine और अधिक जटिल मॉडल का क्या होता है , गैर-रैखिकता की एक उच्च डिग्री के साथ। $\hat P_{1|1}$ $\hat P_{1|0}$

लेकिन asymptotically, पूर्वाग्रह गायब हो जाता है क्योंकि संभाव्यता अनुमान संगत हैं। अपेक्षित मान और लघुगणक के अंदर सीधे ऑपरेटर को सम्मिलित करते हुए , हमारे पास $\lim$

\underset{n \to \infty}{लिम} इ [\hat{α}] = इ [\ln (\underset{n \to \infty}{लिम} \frac{{\hat{पी}}_{1 | 0}}{1 - {\hat{पी}}_{1 | 0}})] = इ [\ln (\frac{{पी}_{1 | 0}}{1 - {पी}_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

और इसी तरह । $\beta$

VLEIANCE-COVARIANCE MATRIX OF MLE
उपर्युक्त साधारण मामले में, जो अनुमानक के लिए बंद-स्वरूप अभिव्यक्तियाँ प्रदान करता है, कम से कम, सिद्धांत रूप में, उसके सटीक परिमित-नमूना वितरण को प्राप्त कर सकते हैं और फिर उसके सटीक परिमित नमूना विचरण-सहसंयोजी मैट्रिक्स की गणना कर सकते हैं। । लेकिन सामान्य तौर पर, MLE का कोई बंद फॉर्म समाधान नहीं है। फिर हम एसेप्टोटिक विचरण-सहसंयोजक मैट्रिक्स के एक सुसंगत अनुमान का सहारा लेते हैं , जो वास्तव में (नकारात्मक का) नमूना के लॉग-लाइबिलिटी फ़ंक्शन के हेस्सियन का उलटा है, जिसका मूल्यांकन MLE में किया गया है। और यहाँ कोई "मनमाना विकल्प" नहीं है, लेकिन यह asymptotic सिद्धांत और MLE ( और विषमता सामान्यता) के एसिम्प्टोटिक गुणों के परिणामस्वरूप होता है, जो हमें बताता है कि, के लिए , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

जहां हेसियन है। लगभग और (बड़े) परिमित नमूने के लिए, यह हमें ले जाता है $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— एलेकोस पापाडोपोलोस
स्रोत