जीएलएम में, संतृप्त मॉडल की लॉग संभावना हमेशा शून्य होती है?

सामान्यीकृत रैखिक मॉडल के आउटपुट के भाग के रूप में, मॉडल के मूल्यांकन के लिए नल और अवशिष्ट विचलन का उपयोग किया जाता है। मैं अक्सर संतृप्त मॉडल की लॉग संभावना के रूप में व्यक्त की गई इन राशियों के सूत्र देखता हूं, उदाहरण के लिए: /stats//a/113022/22199 , लॉजिस्टिक रिग्रेशन: एक संतृप्त मॉडल कैसे प्राप्त करें

संतृप्त मॉडल, जहां तक मैं इसे समझता हूं, वह मॉडल है जो देखी गई प्रतिक्रिया को पूरी तरह से फिट बैठता है। इस प्रकार, ज्यादातर जगहों पर मैंने देखा है, संतृप्त मॉडल की लॉग-लाइबिलिटी हमेशा शून्य के रूप में दी जाती है।

फिर भी, जिस तरह से विचलन का सूत्र दिया गया है, उससे पता चलता है कि कभी-कभी यह मात्रा गैर शून्य होती है। (जैसे कि यह हमेशा शून्य होता है, इसमें परेशान क्यों होता है?)

किन मामलों में यह शून्य हो सकता है? यदि यह कभी भी शून्य नहीं है, तो इसे भक्ति के सूत्र में क्यों शामिल करें?

— एलेक्स
स्रोत

जवाबों:

यदि आप वास्तव में लॉग-लाइबिलिटी का मतलब है , तो जवाब है: यह हमेशा शून्य नहीं है।

उदाहरण के लिए, प्वासों डेटा पर विचार करें: । के लिए लॉग-संभावना द्वारा दिया जाता है: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ $Y = (y_1, \ldots, y_n)$

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

अंतर में सम्मान के साथ करने के लिए और के लिए सेट (यह है कि हम कैसे संतृप्त मॉडल के लिए MLE प्राप्त है): $\ell(\mu; Y)$ $(*)$ $\mu_i$ $0$ के लिए इस का समाधानपाने के लिए, प्रतिस्थापनवापस मेंके लिएकि संतृप्त मॉडल की लॉग-संभावना है देता है:

- 1 + \frac{y_{i}}{μ_{i}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$

μ_{i}

$\mu_i$

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

जब तक

बहुत विशेष मान नहीं लेता।

ℓ (\hat{μ}; Y) = \sum_{i = 1}^{n} y_{i} (\log y_{i} - 1) - \sum_{i = 1}^{n} \log (y_{i}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$

आइटम के तहत Rफ़ंक्शन के सहायता पृष्ठ में , दस्तावेज़ इस मुद्दे को निम्नानुसार समझाता है:glmdeviance

deviance एक निरंतर, शून्य से अधिकतम दो बार लॉग-लाइक होने की संभावना। जहां समझदार है, निरंतर को चुना जाता है ताकि संतृप्त मॉडल में अवमूल्यन शून्य हो।

ध्यान दें कि इसने उल्लेख किया है कि संतृप्त मॉडल की लॉग- लाइबिलिटी के बजाय विचलन शून्य होना चुना जाता है।

शायद, जो आप वास्तव में पुष्टि करना चाहते थे, वह यह है कि " संतृप्त मॉडल का विचलन हमेशा शून्य के रूप में दिया जाता है", यह सच है, विचलन के बाद से, परिभाषा के अनुसार ( एलन डेटा द्वारा श्रेणीबद्ध डेटा विश्लेषण की धारा 4.5.1 देखें ) अग्रेस्टी) संतृप्त मॉडल के लिए एक निर्दिष्ट जीएलएम की संभावना अनुपात सांख्यिकीय है। constantआर दस्तावेज में ऊपर उल्लिखित वास्तव में संतृप्त मॉडल की दो बार अधिकतम लॉग-संभावना है।

$M_1$ $M_2$ $M_1$ $M_2$

निष्कर्ष

संतृप्त मॉडल की लॉग-संभावना सामान्य गैर-शून्य में है।
संतृप्त मॉडल का विचलन (इसकी मूल परिभाषा में) शून्य है।
विचलन के रूप में यह वास्तव में कुछ और (deviances के बीच अंतर) का अर्थ है सॉफ्टवेयर से निर्गम (आर) के रूप में सामान्य गैर शून्य में है।

$7$

\begin{matrix} (1) & f (y_{i}; θ_{i}, φ) = \exp [A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + τ (y_{i}, φ / A_{i})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$

A_{i}

$A_i$

φ

$\varphi$

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

$\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

$(**)$ $\Gamma(\alpha, \beta)$

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- \log (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{\log φ}{φ} + (\frac{1}{φ} - 1) \log y - \log Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— Zhanxiong
स्रोत

क्या loglikelihood शून्य है और केवल अगर मॉडल संभावित परिणामों में से प्रत्येक को 100% संभावना प्रदान कर सकता है?

— एलेक्स

0

$0$

τ

$\tau$

0

$0$

आपकी व्युत्पत्ति बहुत अच्छी है लेकिन औपचारिक प्रमाण फिलहाल मेरे सिर से थोड़ा ऊपर है। Poisson मॉडल के साथ अपने उदाहरण के लिए धन्यवाद। इस उदाहरण से मैंने जो निकाला वह यह है कि पॉइसन मॉडल 100% संभाव्यता को निर्दिष्ट नहीं कर सकता है, क्योंकि अवलोकन परिणाम पोइसन माध्य के लिए कोई भी मूल्य है, इस प्रकार संभावना शून्य नहीं हो सकती है।

— एलेक्स

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

$0$

संभावना है जहां ।

\begin{matrix} (1) & L (y; X, β) = \prod_{i = 1}^{n} f (y_{i}; x_{i}, β) = \prod_{i = 1}^{n} π_{i}^{y_{i}} (1 - π_{i})^{1 - y_{i}} = \prod_{i = 1}^{n} {(\frac{π_{i}}{1 - π_{i}})}^{y_{i}} (1 - π_{i}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

लॉग-

\begin{aligned} \log L (y; X, β) & = \sum_{i = 1}^{n} y_{i} \log (\frac{π_{i}}{1 - π_{i}}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} logit (π_{i}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (1 - invlogit (x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (invlogit (- x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β - \log (1 + \exp [x_{i}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

यदि आप उन सभी गुणांक के संबंध में डेरिवेटिव लेते हैं, जो आपको

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{i = 1}^{n} y_{i} x_{i} - \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

इस अभिव्यक्ति को बराबर सेट करने और लिए हल करने से आपको अपना उत्तर मिल जाएगा। आमतौर पर यह विश्लेषणात्मक रूप से नहीं किया जा सकता है, जो इस मॉडल को फिट करने के लिए पुनरावृत्त एल्गोरिदम का उपयोग करने की लोकप्रियता / आवश्यकता की व्याख्या करता है, लेकिन संतृप्त मॉडल के मामले में, यह संभव है। $\mathbf{0}$ $\boldsymbol{\beta}$

संतृप्त मॉडल को खोजने के लिए, हम प्रत्येक पंक्ति को स्वयं गुणांक देते हैं। So और डिजाइन मैट्रिक्स गुणांक वेक्टर गुणांक $\boldsymbol{\beta} \in \mathbb{R}^n$

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

ध्यान दें कि विशेष रूप से, । $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$

तो समीकरण की वीं पंक्ति (2) लेने से हमें $j$

\sum_{i = 1}^{n} y_{i} x_{i, j} = \sum_{i = 1}^{n} \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

जो केवल तभी हो सकता है यदि प्रत्येक अवलोकन के लिए : $i$

y_{i} = invlogit (β_{i})

$y_i = \text{invlogit}(\beta_i )$ या दूसरे शब्दों में से प्रत्येक में प्लस या माइनस अनंत है (यदि है या , क्रमशः)। हम अधिकतम प्राप्त करने के लिए इन मापदंडों को वापस (1) में प्लग कर सकते हैं: स्पष्ट रूप से इस का लॉग ।

β_{i}

$\beta_i$

y_{i}

$y_i$

1

$1$

0

$0$

\prod_{i = 1}^{n} {\hat{π}}_{i}^{y_{i}} (1 - {\hat{π}}_{i})^{1 - y_{i}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$

0

$0$

— टेलर
स्रोत

लेकिन यह डेटा अनियंत्रित मान लेता है । यदि आपके पास (और समान मान) के साथ समूह हैं (R में, फॉर्म का उपयोग करके फोरेक्सम्पल) तो संतृप्त मॉडल में loglikelihood शून्य नहीं है।

n_{i} > 1

$n_i>1$ glm( cbind(k, n-k) ~ x + ...

— kjetil b halvorsen

@kjetilbhalvorsen ओह अच्छी बात है। मैंने कभी कोशिश नहीं की कि मुझे चेक करे

— टेलर

@ एलेक्स: हाँ, यह सही है। कम से कम असतत वितरण के लिए। निरंतर वितरण के लिए, यह घनत्व 1 के बराबर होने देने के लिए नीचे आएगा, जो जरूरी नहीं कि सार्थक हो और इसलिए प्रयास करने और प्राप्त करने के लिए एक समझदार चीज नहीं है। थोड़ा और आम तौर पर, संतृप्त मॉडल की लॉग-लाइबिलिटी आपको किसी भी मॉडल के प्रदर्शन के लिए एक ऊपरी बाध्यता प्रदान करती है जो अंतर्निहित वितरण परिवार की आपकी धारणा का अनुसरण करती है। दूसरे शब्दों में, एक संतृप्त द्विपद मॉडल की लॉग-लाइबिलिटी यह "दिए गए डेटा सेट (X, Y) के लिए Y" द्विपद है। 100% (या इसी तरह) के विपरीत, अपने मॉडल को अपने glm मॉडल की तुलना करने के लिए समझ में आता है, क्योंकि आपका मॉडल प्रतिक्रिया वितरण पर आपकी धारणा से स्वाभाविक रूप से विवश है।

— bettmensch88
स्रोत