रैखिक प्रतिगमन के मामले में MLE और सबसे कम वर्गों के बीच संबंध

हस्ती और तिब्शीरानी ने अपनी पुस्तक के खंड 4.3.2 में उल्लेख किया है कि रैखिक प्रतिगमन सेटिंग में, सबसे कम वर्ग दृष्टिकोण वास्तव में अधिकतम संभावना का एक विशेष मामला है। हम इस परिणाम को कैसे साबित कर सकते हैं?

पुनश्च: कोई गणितीय विवरण नहीं।

regression maximum-likelihood least-squares

— प्रज्ञेश जोशी
स्रोत

यह एक विशेष मामला नहीं है: वे केवल समान हैं जब त्रुटि वितरण सामान्य होता है।

— झांक्सिओनग

रैखिक प्रतिगमन मॉडल

$Y = X\beta + \epsilon$ , कहाँ पे $\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$ , $X \in \mathbb{R}^{n \times p}$ तथा $\beta \in \mathbb{R}^{p}$

ध्यान दें कि हमारा मॉडल त्रुटि (अवशिष्ट) है ${\bf \epsilon = Y - X\beta}$ । हमारा लक्ष्य एक वेक्टर की खोज करना है $\beta$ कि कम से कम $L_2$ इस त्रुटि का मानक वर्ग।

कम से कम दो गुना

डेटा दिया गया $(x_1,y_1),...,(x_n,y_n)$ जहां प्रत्येक $x_{i}$ है $p$ आयामी, हम खोजना चाहते हैं:

{\hat{β}}_{L S} = \underset{β}{argmin} | | ϵ | |^{2} = \underset{β}{argmin} | | Y - X β | |^{2} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

अधिकतम संभाव्यता

ऊपर दिए गए मॉडल का उपयोग करके, हम मापदंडों को दिए गए डेटा की संभावना निर्धारित कर सकते हैं $\beta$ जैसा:

L (Y | X, β) = \prod_{i = 1}^{n} f (y_{i} | x_{i}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

कहाँ पे $f(y_i|x_i,\beta)$ औसत 0 और विचरण के साथ एक सामान्य वितरण की पीडीएफ है $\sigma^2$ । इसमें प्लगिंग:

L (Y | X, β) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

अब आम तौर पर जब संभावना से निपटने के लिए इसकी गणितीय रूप से जारी रखने से पहले लॉग लेना आसान हो जाता है (उत्पाद रकम बन जाते हैं, घातांक दूर हो जाते हैं), तो चलो ऐसा करते हैं।

\log L (Y | X, β) = \sum_{i = 1}^{n} \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

चूँकि हम अधिकतम संभावना का अनुमान चाहते हैं, इसलिए हम सम्मान के साथ, अधिकतम समीकरण का अधिकतम पता लगाना चाहते हैं $\beta$ । पहला शब्द हमारे अनुमान को प्रभावित नहीं करता है $\beta$ , इसलिए हम इसे अनदेखा कर सकते हैं:

{\hat{β}}_{M L E} = \underset{β}{argmax} \sum_{i = 1}^{n} - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

ध्यान दें कि भाजक सम्मान के साथ एक स्थिर है $\beta$ । अंत में, ध्यान दें कि राशि के सामने एक नकारात्मक चिन्ह है। इसलिए एक ऋणात्मक संख्या का अधिकतम पता लगाना नकारात्मक के बिना इसका न्यूनतम पता लगाने जैसा है। दूसरे शब्दों में:

{\hat{β}}_{M L E} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

याद रखें कि इस काम के लिए, हमें कुछ मॉडल मान्यताओं (त्रुटि की शर्तों की सामान्यता, 0 माध्य, निरंतर विचरण) करना था। यह कुछ शर्तों के तहत कम से कम वर्गों को MLE के बराबर बनाता है। अधिक चर्चा के लिए यहां और यहां देखें ।

पूर्णता के लिए, ध्यान दें कि समाधान के रूप में लिखा जा सकता है:

β = (X^{T} X)^{- 1} X^{T} y

${\bf \beta = (X^TX)^{-1}X^Ty}$

— ilanman
स्रोत