12

मैं अध्ययन कर रहा हूं कि लॉजिस्टिक रिग्रेशन में प्राप्त गुणांक से बाधाओं के अनुपात के लिए 95% विश्वास अंतराल का निर्माण कैसे किया जाए। इसलिए, लॉजिस्टिक रिग्रेशन मॉडल पर विचार करते हुए,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

ऐसी है कि $x = 0$ और नियंत्रण समूह के लिए $x = 1$ मामले के लिए समूह।

मैं पहले से ही पढ़ा है यह है कि सबसे आसान तरीका के लिए एक 95% सीआई के निर्माण के लिए $\beta$ तो हम घातीय समारोह, यह है कि आवेदन किया,

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

मेरे प्रश्न हैं:

इस प्रक्रिया को सही ठहराने वाला सैद्धांतिक कारण क्या है? मुझे पता है कि $\mbox{odds ratio} = \exp\{\beta\}$ और अधिकतम संभावना अनुमानक अपरिवर्तनीय हैं। हालाँकि, मैं इन तत्वों के बीच संबंध नहीं जानता।
क्या डेल्टा विधि पिछली प्रक्रिया के समान 95% विश्वास अंतराल उत्पन्न कर सकती है? डेल्टा विधि का प्रयोग,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
फिर,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
यदि नहीं, तो सबसे अच्छी प्रक्रिया कौन सी है?

— मेरिको ऑगस्टो डिनिज़
स्रोत

1

मुझे CI के लिए बूटस्ट्रैप भी पसंद है, अगर मेरे पास पर्याप्त आकार के पैरामीटर मान या प्रशिक्षण डेटा हैं।

— EngrStudent

2

ऐसा करने का एक बेहतर तरीका है, आँकड़े देखें ।stackexchange.com

— questions

7

प्रक्रिया के लिए औचित्य के लिए MLE की asymptotic सामान्य है केन्द्रीय सीमा प्रमेय को शामिल तर्क से और परिणाम। $\beta$
डेल्टा विधि MLE के आसपास फ़ंक्शन के रैखिक (यानी पहले क्रम टेलर) के विस्तार से आती है। इसके बाद हम MLE की अस्मितावादी सामान्यता और निष्पक्षता की अपील करते हैं।

अस्वाभाविक रूप से दोनों एक ही उत्तर देते हैं। लेकिन व्यावहारिक रूप से, आप उसी का पक्ष लेंगे जो सामान्य रूप से अधिक निकट दिखता है। इस उदाहरण में, मैं पहले वाले का पक्ष लूंगा क्योंकि उत्तरार्द्ध कम सममित होने की संभावना है।

— अमीर
स्रोत

3

ISL के एक उदाहरण पर विश्वास अंतराल विधियों की तुलना

तिब्शीरानी, जेम्स, हस्ती की पुस्तक "इंट्रोडक्शन टू स्टैटिस्टिकल लर्निंग" , वेज डेटा पर बहुपद लॉजिस्टिक रिग्रेशन डिग्री 4 के लिए आत्मविश्वास अंतराल के पेज 267 पर एक उदाहरण प्रदान करती है । पुस्तक का उद्धरण:

हम डिग्री -4 बहुपद के साथ लॉजिस्टिक रिग्रेशन का उपयोग कर बाइनरी इवेंट का मॉडल तैयार करते हैं । अनुमानित रूप से 95% विश्वास अंतराल के साथ, $ 250,000 से अधिक वेतन की फिट होने की संभावित संभावना को नीले रंग में दिखाया गया है। $wage>250$

नीचे इस तरह के अंतराल के निर्माण के लिए दो तरीकों का एक त्वरित पुनर्कथन है और साथ ही उन्हें खरोंच से कैसे लागू किया जाए, इस पर टिप्पणी की गई है

Wald / समापन बिंदु परिवर्तन अंतराल

रैखिक संयोजन के लिए विश्वास अंतराल के ऊपरी और निचले सीमा की गणना करें (Wald CI का उपयोग करके) $x^T\beta$
संभावनाओं को प्राप्त करने के लिए समापन बिंदु लिए एक मोनोटोनिक परिवर्तन लागू करें । $F(x^T\beta)$

चूंकि के एक monotonic परिवर्तन है $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

संक्षेप में इसका मतलब है कि कंप्यूटिंग और फिर निचले और ऊपरी सीमा प्राप्त करने के लिए परिणाम में लॉगिट परिवर्तन लागू करना: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

मानक त्रुटि कम्प्यूटिंग

अधिकतम संभावना सिद्धांत हमें बताता है कि प्रतिगमन गुणांक के सहसंयोजक मैट्रिक्स का उपयोग करके के अनुमानित संस्करण की गणना की जा सकती है $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

जैसा कि डिजाइन मैट्रिक्स और मैट्रिक्स को परिभाषित करें $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

जहां का मूल्य है के लिए वें चर वें टिप्पणियों और भविष्यवाणी की संभावना अवलोकन के लिए प्रतिनिधित्व करता । $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

सहसंयोजक मैट्रिक्स तब पाया जा सकता है: और मानक त्रुटि के रूप में $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

भविष्यवाणी की संभावना के लिए 95% विश्वास अंतराल को तब प्लॉट किया जा सकता है

डेल्टा विधि विश्वास अंतराल

दृष्टिकोण के एक रैखिक सन्निकटन के विचरण की गणना करने के लिए है और इसका उपयोग बड़े नमूना आत्मविश्वास अंतराल के निर्माण के लिए किया जाता है। $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

कहाँ ढाल और अनुमानित सहसंयोजक मैट्रिक्स है। ध्यान दें कि एक आयाम में: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

कहाँ के व्युत्पन्न है । यह बहुभिन्नरूपी मामले में सामान्यीकरण करता है $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

हमारे मामले में F लॉजिस्टिक फ़ंक्शन है (जिसे हम निरूपित करेंगे ) जिसका व्युत्पन्न है $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

अब हम ऊपर गणना किए गए संस्करण का उपयोग करके एक विश्वास अंतराल का निर्माण कर सकते हैं।

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

बहुभिन्नरूपी मामले के लिए वेक्टर रूप में

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

ध्यान दें कि में एकल डेटा बिंदु का प्रतिनिधित्व करता है , अर्थात डिज़ाइन मैट्रिक्स की एक पंक्ति $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

एक खुला हुआ समापन

दोनों संभावनाओं के लिए सामान्य क्यूक्यू भूखंडों पर एक नज़र और नकारात्मक लॉग ऑड्स बताते हैं कि न तो सामान्य रूप से वितरित किए जाते हैं। क्या यह अंतर समझा सकता है?

स्रोत:

— जेवियर बॉरेट सिस्कोट
स्रोत

1

अधिकांश उद्देश्यों के लिए सबसे सरल तरीका संभवतः सबसे अच्छा है, जैसा कि इस पृष्ठ पर एक लॉग ट्रांसफ़ॉर्म के संदर्भ में चर्चा की गई है । सांख्यिकीय पैमाने पर किए गए सांख्यिकीय परीक्षणों और विश्वास अंतराल (CI) के साथ उस लॉग पैमाने पर परिभाषित किए गए विश्लेषण के रूप में अपने आश्रित चर के बारे में सोचें। बाधाओं के अनुपात में पिछला परिवर्तन बस उन परिणामों को एक पैमाने पर रखना है जो एक पाठक अधिक आसानी से समझ सकता है। यह भी किया जाता है, उदाहरण के लिए, कॉक्स उत्तरजीविता विश्लेषण में, जहां प्रतिगमन गुणांक (और 95% सीआई) जोखिम अनुपात और उनके सीआई को प्राप्त करने के लिए प्रतिपादक हैं।

— ईडीएम
स्रोत

लॉजिस्टिक रिग्रेशन से ऑड्स अनुपात के लिए आत्मविश्वास अंतराल उत्पन्न करने के विभिन्न तरीके

ISL के एक उदाहरण पर विश्वास अंतराल विधियों की तुलना

Wald / समापन बिंदु परिवर्तन अंतराल

मानक त्रुटि कम्प्यूटिंग

डेल्टा विधि विश्वास अंतराल

एक खुला हुआ समापन