क्या आप एक GLM के MLE को खोजने के लिए IRLS विधि की सरल सहज व्याख्या दे सकते हैं?

पृष्ठभूमि:

मैं प्रिंसटन की GLM के लिए MLE आकलन की समीक्षा का पालन करने की कोशिश कर रहा हूं ।

मैं MLE आकलन की मूल बातें समझ: likelihood, score, मनाया जाता है और उम्मीद Fisher informationऔर Fisher scoringतकनीक। और मुझे पता है कि MLE आकलन के साथ सरल रेखीय प्रतिगमन को कैसे उचित ठहराया जाए ।

प्रश्न:

मैं इस विधि की पहली पंक्ति को भी नहीं समझ सकता :(

पीछे अंतर्ज्ञान क्या है $z_i$ के रूप में परिभाषित काम कर चर:

z_{मैं} = {\hat{η}}_{मैं} + (y_{मैं} - {\hat{μ}}_{मैं}) \frac{घ η_{मैं}}{घ μ_{मैं}}

$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$

क्यों वे के बजाय इस्तेमाल कर रहे हैं $y_i$ अनुमान लगाने के लिए $\beta$ ?

और उनका संबंध response/link function the और बीच संबंध है $\eta$ $\mu$

अगर किसी के पास एक सरल स्पष्टीकरण है या मुझे इस बारे में अधिक बुनियादी स्तर के पाठ के लिए निर्देशित कर सकता हूं तो मैं आभारी रहूंगा।

— ihadanny
स्रोत

एक साइड नोट के रूप में, मेरे लिए मैंने पूरे "जीएलएम" ढांचे के बारे में सुनने से पहले मजबूत (एम-) अनुमान के संदर्भ में आईआरएलएस के बारे में सीखा (जिसे मैं अभी भी पूरी तरह से समझ नहीं पाया हूं )। इस दृष्टिकोण पर एक व्यावहारिक दृष्टिकोण के लिए, कम से कम वर्गों के एक साधारण सामान्यीकरण के रूप में, मैं उस स्रोत की सिफारिश करूंगा जिसका मैंने पहली बार सामना किया था: रिचर्ड सेज़िस्की के कंप्यूटर विज़न के परिशिष्ट बी (मुफ्त ई-) पुस्तक (पहले 4 पृष्ठ, वास्तव में, हालांकि ये लिंक कुछ अच्छे उदाहरण भी)।

— GeoMatt22

कुछ साल पहले मैंने अपने छात्रों के लिए (स्पेनिश में) इस बारे में एक पेपर लिखा था, इसलिए मैं यहाँ उन स्पष्टीकरणों को फिर से लिखने की कोशिश कर सकता हूँ। मैं बढ़ती जटिलता के उदाहरणों की एक श्रृंखला के माध्यम से IRLS (पुनरावृत्त कम से कम वर्ग) को देखूंगा। पहले उदाहरण के लिए हमें एक स्थान-स्तरीय परिवार की अवधारणा की आवश्यकता है। बता दें कि किसी अर्थ में शून्य पर केंद्रित घनत्व फ़ंक्शन है। हम परिभाषित करते हुए घनत्व के एक परिवार का निर्माण कर सकते $f_0$ जहांएक स्केल पैरामीटर है औरएक लोकेशन पैरामीटर है। माप त्रुटि मॉडल में, जहां सामान्य रूप से त्रुटि शब्द को सामान्य वितरण के रूप में मॉडलिंग की जाती है, हम उस सामान्य वितरण के स्थान पर ऊपर निर्मित एक स्थान-स्तरीय परिवार का उपयोग कर सकते हैं। जबमानक सामान्य बंटन है, निर्माण ऊपर देतापरिवार।

च (एक्स) = च (एक्स; μ, σ) = \frac{1}{σ} च_{0} (\frac{एक्स - μ}{σ})

$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$

σ > 0

$\sigma > 0$

μ

$\mu$

f_{0}

$f_0$

N (μ, σ)

$\text{N}(\mu, \sigma)$

अब हम कुछ सरल उदाहरणों पर IRLS का उपयोग करेंगे। सबसे पहले हम मॉडल में ML (अधिकतम संभावना) अनुमानक पाएंगे घनत्व साथ

Y_{1}, Y_{2}, ..., Y_{n} आईआईडी

$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$

कॉची वितरण स्थान परिवार

(तो यह एक स्थान परिवार है)। लेकिन पहले कुछ संकेतन। भारित की कम से कम वर्गों आकलनकर्ता

द्वारा दिया जाता है

च (y) = \frac{1}{π} \frac{1}{1 + (y - μ)^{2}}, y \in आर,

$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$

μ

$\mu$

μ

$\mu$

जहां

कुछ वजन है। हम इस बात का एमएल आकलनकर्ता देखेंगे

के साथ, एक ही रूप में व्यक्त किया जा सकता है

बच के कुछ समारोह

संभावना समारोह

द्वारा दिया जाता है

μ^{*} = \frac{Σ_{मैं = 1}^{n} w_{मैं} y_{मैं}}{Σ_{मैं = 1}^{n} w_{मैं}} ।

$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$

w_{i}

$w_i$

μ

$\mu$

w_{i}

$w_i$

ε_{मैं} = y_{मैं} - \hat{μ} ।

$\epsilon_i = y_i-\hat{\mu}.$

और loglikelihood समारोह द्वारा दिया जाता है

के संबंध में इसकी व्युत्पन्न

है

एल (y; μ) = {(\frac{1}{π})}^{n} Π_{मैं = 1}^{n} \frac{1}{1 + (y_{मैं} - μ)^{2}}

$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$

एल (y) = - n लॉग (π) - Σ_{मैं = 1}^{n} लॉग (1 + (y_{मैं} - μ)^{2}) ।

$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$

μ

$\mu$

जहां

। लिखें

\begin{array}{rcl} \frac{\partial एल (y)}{\partial μ} & = & 0 - Σ \frac{\partial}{\partial μ} लॉग (1 + (y_{मैं} - μ)^{2}) \\ = & - Σ \frac{2 (y_{मैं} - μ)}{1 + (y_{मैं} - μ)^{2}} \cdot (- 1) \\ = & Σ \frac{2 ε_{मैं}}{1 + ε_{मैं}^{2}} \end{array}

$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$

ϵ_{i} = y_{i} - μ

$\epsilon_i=y_i-\mu$

और

f_{0} (ϵ) = \frac{1}{π} \frac{1}{1 + ϵ^{2}}

$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$

, हम पाते हैं

f_{0}^{'} (ϵ) = \frac{1}{π} \frac{- 1 \cdot 2 ϵ}{(1 + ϵ^{2})^{2}}

$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$

हम

पाते हैं

\frac{च_{0}^{'} (ε)}{च_{0} (ε)} = \frac{\frac{- 1 \cdot 2 ε}{(1 + ε^{2})^{2}}}{\frac{1}{1 + ε^{2}}} = - \frac{2 ε}{1 + ε^{2}} ।

$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$

जहाँ हम परिभाषा इस्तेमाल किया

\begin{array}{rcl} \frac{\partial एल (y)}{\partial μ} & = & - Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \\ = & - Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot (- \frac{1}{ε_{मैं}}) \cdot (- ε_{मैं}) \\ = & Σ w_{मैं} ε_{मैं} \end{array}

$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$

कि याद करते हुए

हम समीकरण प्राप्त

जो IRLS का अनुमान लगाते समय समीकरण है। ध्यान दें कि

w_{मैं} = \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot (- \frac{1}{ε_{मैं}}) = \frac{- 2 ε_{मैं}}{1 + ε_{मैं}^{2}} \cdot (- \frac{1}{ε_{मैं}}) = \frac{2}{1 + ε_{मैं}^{2}} ।

$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$

ϵ_{i} = y_{i} - μ

$\epsilon_i=y_i-\mu$

Σ w_{मैं} y_{मैं} = μ Σ w_{मैं},

$\sum w_i y_i = \mu \sum w_i,$

वजन हमेशा सकारात्मक रहे हैं। $w_i$
यदि अवशिष्ट बड़ा है, तो हम संबंधित अवलोकन को कम वजन देते हैं।

$\hat{\mu}^{(0)}$

ε_{मैं}^{(0)} = y_{मैं} - {\hat{μ}}^{(0)}

$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$

w_{मैं}^{(0)} = \frac{2}{1 + ε_{मैं}^{(0)}} ।

$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$

\hat{μ}

$\hat{\mu}$

{\hat{μ}}^{(1)} = \frac{Σ w_{मैं}^{(0)} y_{मैं}}{Σ w_{मैं}^{(0)}} ।

$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$

ε_{मैं}^{(जे)} = y_{मैं} - {\hat{μ}}^{(जे)}

$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$

w_{मैं}^{(जे)} = \frac{2}{1 + ε_{मैं}^{(जे)}} ।

$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$

j + 1

$j+1$

{\hat{μ}}^{(जे + 1)} = \frac{Σ w_{मैं}^{(जे)} y_{मैं}}{Σ w_{मैं}^{(जे)}} ।

$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$

{\hat{μ}}^{(0)}, {\hat{μ}}^{(1)}, ..., {\hat{μ}}^{(जे)}, ...

$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$

$f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$ $Y_1,Y_2,\ldots,Y_n$ $\epsilon_i=\frac{y_i-\mu}{\sigma}$

एल (y) = - \frac{n}{2} लॉग (σ^{2}) + Σ लॉग (च_{0} (\frac{y_{मैं} - μ}{σ})) ।

$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$

ν = σ^{2}

$\nu=\sigma^2$

\frac{\partial ε_{मैं}}{\partial μ} = - \frac{1}{σ}

$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$

\frac{\partial ε_{मैं}}{\partial ν} = (y_{मैं} - μ) {(\frac{1}{\sqrt{ν}})}^{'} = (y_{मैं} - μ) \cdot \frac{- 1}{2 σ^{3}} ।

$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$

\frac{\partial एल (y)}{\partial μ} = Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot \frac{\partial ε_{मैं}}{\partial μ} = Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot (- \frac{1}{σ}) = - \frac{1}{σ} Σ \frac{च_{ओ}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot (- \frac{1}{ε_{मैं}}) (- ε_{मैं}) = \frac{1}{σ} Σ w_{मैं} ε_{मैं}

$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$

σ^{2}

$\sigma^2$

\begin{array}{rcl} \frac{\partial एल (y)}{\partial ν} & = & - \frac{n}{2} \frac{1}{ν} + Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot \frac{\partial ε_{मैं}}{\partial ν} \\ = & - \frac{n}{2} \frac{1}{ν} + Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot (- \frac{(y_{मैं} - μ)}{2 σ^{3}}) \\ = & - \frac{n}{2} \frac{1}{ν} - \frac{1}{2} \frac{1}{σ^{2}} Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot ε_{मैं} \\ = & - \frac{n}{2} \frac{1}{ν} - \frac{1}{2} \frac{1}{ν} Σ \frac{च_{0}^{'} (ε_{मैं})}{च_{0} (ε_{मैं})} \cdot (- \frac{1}{ε_{मैं}}) (- ε_{मैं}) \cdot ε_{मैं} \\ = & - \frac{n}{2} \frac{1}{ν} + \frac{1}{2} \frac{1}{ν} Σ w_{मैं} ε_{मैं}^{2} \overset{!}{=} 0। \end{array}

$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$

\hat{σ^{2}} = \frac{1}{n} Σ w_{मैं} (y_{मैं} - \hat{μ})^{2} ।

$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$

निम्नलिखित में हम डबल घातीय मॉडल (ज्ञात पैमाने के साथ) और डेटा के साथ, आर का उपयोग करके एक संख्यात्मक परीक्षा देते हैं y <- c(-5,-1,0,1,5)। इस डेटा के लिए एमएल अनुमानक का वास्तविक मान 0. है। प्रारंभिक मूल्य होगा mu <- 0.5। एल्गोरिथ्म का एक पास है

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

इस फ़ंक्शन के साथ आप "हाथ से" पुनरावृत्तियों को करने के लिए प्रयोग कर सकते हैं, फिर पुनरावृति एल्गोरिथ्म द्वारा किया जा सकता है

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

$t_k$ $\sigma$

w_{मैं} = \frac{क + 1}{क + ε_{मैं}^{2}} ।

$w_i = \frac{k+1}{k+\epsilon_i^2}.$

w (ε) = \frac{1 - इ^{ε}}{1 + इ^{ε}} \cdot - \frac{1}{ε} ।

$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$

फिलहाल मैं इसे यहां छोड़ दूंगा, मैं इस पद को जारी रखूंगा।

— kjetil b halvorsen
स्रोत

u

$u$

u_{i}

$u_i$

मैं इसे अभी और जोड़ दूंगा, अभी समय से बाहर! विचार समान रहते हैं, लेकिन विवरण अधिक शामिल होते हैं।

— kjetil b halvorsen

उस के लिए आ जाएगा!

— kjetil b halvorsen

t_{k}

$t_k$

क्या आपको लगता है कि ब्लॉग पोस्ट लिखना कहीं न कहीं इस व्याख्या को जारी रखता है? मेरे लिए वास्तव में उपयोगी है और मुझे यकीन है कि दूसरों के लिए ...

— ihadanny