रिज प्रतिगमन समाधान कैसे प्राप्त करें?

40

मैं रिज प्रतिगमन के समाधान के व्युत्पन्न के साथ कुछ मुद्दे रख रहा हूं।

मैं नियमितीकरण शब्द के बिना प्रतिगमन समाधान जानता हूं:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

$\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— user34790
स्रोत

23

यह दंड को जोड़कर नुकसान फ़ंक्शन को संशोधित करने के लिए पर्याप्त है। मैट्रिक्स के संदर्भ में, प्रारंभिक द्विघात हानि समारोह बन जाता है संबंध में जानकारी सामान्य समीकरण ओर ले जाती है, जो रिज अनुमानक की ओर जाता है।

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$

β

$\beta$

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$

— छोकरा
स्रोत

1

कैसे के व्युत्पन्न आए बराबर है

λ β^{T} β

$\lambda \beta^T \beta$

λ I β

$\lambda I \beta$

— user34790

4

@ user34790 यह नहीं है। यह के बराबर है । लेकिन 2 अन्य शर्तों पर समान 2s के साथ रद्द करता है। बेशक, कारक "नियमित" बीजगणित में 1 के एक कारक की तरह है, आप इसे बिना कुछ बदले कहीं भी गुणा कर सकते हैं।

2 λ β

$2\lambda\beta$

I

$I$

— बिल

4

@bill: यहाँ आप की जरूरत सही आयाम के एक मैट्रिक्स पाने के लिए तो इसके साथ काम करता है : सिर्फ एक अदिश है

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— हेनरी

47

आइए हम जो जानते हैं उस पर निर्माण करते हैं, जो यह है कि जब भी मॉडल मैट्रिक्स , तो प्रतिक्रिया -vector , और पैरामीटर -vector , उद्देश्य फ़ंक्शन है $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(जो अवशिष्टों के वर्गों का योग है) को कम किया जाता है जब सामान्य समीकरणों को हल करता है $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

रिज रिग्रेशन ऑब्जेक्टिव फंक्शन में एक और शब्द जोड़ता है (आमतौर पर सभी वेरिएबल्स को मानकीकृत करने के बाद उन्हें एक सामान्य पायदान पर रखने के लिए), न्यूनतम करने के लिए कहता है

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

कुछ गैर-नकारात्मक निरंतर । यह अवशिष्टों के वर्गों का योग है और गुणांक के वर्गों के योग का गुणक है (यह स्पष्ट है कि यह एक वैश्विक न्यूनतम है)। क्योंकि , इसमें एक सकारात्मक वर्गमूल । $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

पर विचार करें मैट्रिक्स पंक्तियों के लिए इसी के साथ संवर्धित बार पहचान मैट्रिक्स : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

जब वेक्टर को इसी तरह zeros के साथ के अंत में विस्तारित किया जाता है , तो उद्देश्य फ़ंक्शन में मैट्रिक्स उत्पाद अतिरिक्त शर्तें जोड़ता है मूल उद्देश्य के लिए। इसलिये $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

बाएं हाथ की अभिव्यक्ति के रूप से यह तात्कालिक है कि सामान्य समीकरण हैं

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

क्योंकि हमने शून्य को के अंत तक , दाहिने हाथ की तरफ । बाएं हाथ की ओर को मूल में जोड़ा जाता है । इसलिए नए सामान्य समीकरण सरल करते हैं $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

वैचारिक रूप से किफायती होने के अलावा - इस परिणाम को प्राप्त करने के लिए नए हेरफेर की आवश्यकता होती है - यह कम्प्यूटेशनल रूप से किफायती भी है: साधारण कम से कम वर्गों को करने के लिए आपका सॉफ़्टवेयर भी बिना किसी परिवर्तन के रिज रिग्रेशन करेगा। (यह फिर भी, उपयोग इस उद्देश्य के लिए डिज़ाइन किए गए सॉफ़्टवेयर के लिए बड़े समस्याओं में सहायक हो सकता है क्योंकि यह की विशेष संरचना का फायदा उठाने होगा के एक घनी दूरी अंतराल के लिए कुशलता से परिणाम प्राप्त करने के , पता लगाने के लिए कैसे जवाब अलग-अलग हो आप को सक्षम करने के with ।) $X_{*}$ $\lambda$ $\lambda$

चीजों को देखने के इस तरीके की एक और सुंदरता यह है कि यह रिज रिग्रेशन को समझने में हमारी मदद कैसे कर सकता है। जब हम वास्तव में प्रतिगमन को समझना चाहते हैं, तो यह लगभग हमेशा ज्यामितीय रूप से सोचने में मदद करता है: के स्तंभ आयाम एक वास्तविक वेक्टर अंतरिक्ष में वैक्टर का गठन करते हैं । आसपास के द्वारा करने के लिए , जिससे उन लोगों से समय को बढ़ाने -vectors को -vectors, हम एम्बेड कर रहे हैं एक बड़ा अंतरिक्ष में शामिल करके "काल्पनिक", पारस्परिक रूप से रूढ़िवादी दिशाएं। का पहला कॉलम $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ आकार का एक छोटा सा काल्पनिक घटक दिया जाता है , जिससे यह लंबा है और यह मूल द्वारा उत्पन्न अंतरिक्ष से बाहर जाने कॉलम। दूसरा, तीसरा, ..., कॉलम समान रूप से लंबा और एक ही राशि - द्वारा मूल स्थान से बाहर चला गया है - लेकिन सभी अलग-अलग नई दिशाओं में। नतीजतन, मूल कॉलम में मौजूद किसी भी कोलिनियरिटी को तुरंत हल किया जाएगा। इसके अलावा, जितना बड़ा हो जाता है, उतने अधिक नए वैक्टर व्यक्तिगत पास पहुंच जाते हैं $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ काल्पनिक दिशाएँ: वे अधिक से अधिक अलंकारिक बन जाती हैं। नतीजतन, सामान्य समीकरणों का हल तुरंत संभव हो जाएगा और यह से बढ़ता रूप में तेजी से संख्यात्मक रूप से स्थिर हो जाएगा । $\nu$ $0$

इस प्रक्रिया का वर्णन कुछ उपन्यास और रचनात्मक दृष्टिकोण से पता चलता है कि समस्याओं को संबोधित करने के लिए रिज रिग्रेशन को संभालने के लिए डिज़ाइन किया गया था। उदाहरण के लिए, किसी भी तरह से (जैसे कि बेल्सली, कुह और वैल्श द्वारा वर्णित प्रतिगमन निदान , अध्याय 3) पर वर्णित विचरण अपघटन का उपयोग करते हुए , आप के लगभग कोलिन कॉलम के उपसमूह की पहचान करने में सक्षम हो सकते हैं , जहां प्रत्येक उपसमूह। किसी भी अन्य के लिए लगभग रूढ़िवादी है। आप केवल करने के लिए कई पंक्तियों के रूप में जुड़ा होना जरूरत है (और करने के लिए शून्य दूर अपने भाई-बहनों से एक समूह के प्रत्येक तत्व को विस्थापित करने के लिए एक नया "काल्पनिक" आयाम समर्पित) के रूप में वहाँ सबसे बड़े समूह में तत्व हैं,: आप की जरूरत नहीं है काल्पनिक ऐसा करने के लिए आयाम। $X$ $X$ $y$ $p$

— व्हीबर
स्रोत

2

पुस्तक का अंतिम लेखक वेल्श है, न कि वेल्श।

— मार्क एल। स्टोन

1

वाह, यह सिर्फ मेरे दिमाग उड़ा दिया। क्या इस बारे में कोई चर्चा है कि क्या होता है जब यह रैखिक मॉडल के बाहर सामान्यीकृत होता है, यानी चमक के लिए? जुर्माना को रिज रिग्रेशन के समान नहीं होना चाहिए ... लेकिन इस व्याख्या का अर्थ है कि यह अभी भी एक संभावित उपयोगी अनुमानक होगा!

— क्लिफ एबी

2

@ क्लिफ यह एक बहुत ही दिलचस्प सुझाव है। चूंकि, जीएलएम का अनुमान पर अधिक जटिल तरीके से निर्भर करता है और उनके अनुमानकों को आमतौर पर ओएलएस (जहां लिए फॉर्म में नहीं किया जा सकता है और ), एक दंड फ़ंक्शन को लागू करने और के कॉलम को संशोधित करने के बीच एक उपयोगी संबंध स्थापित करना मुश्किल हो सकता है । विशेष रूप से, यह स्पष्ट नहीं है कि इस काम को करने के लिए में मूल्यों को कैसे बढ़ाया जाना चाहिए।

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

हां, यह स्थापित करने के लिए कुछ विचार करना होगा कि जुर्माना क्या है, लेकिन मैं इसके बारे में चिंतित नहीं हूं। क्या का उपयोग करने का विचार आम तौर पर या तो आसान नहीं है ... शायद लॉजिस्टिक रिग्रेशन के मामले में, जहां हम दो जोड़ सकते हैं ; 0 में से एक और 1 में से एक है। यह वृद्धि तब "+2 द्विपद अनुमानक" का एक अधिक सामान्य संस्करण होगा (इस अनुमानक के लिए एक और अधिक उचित नाम है जिसे मैं रिक्त कर रहा हूं, जो मूल रूप से तब है जब आप एक द्विपद वितरण से का अनुमान लगा रहे हैं, जो पीछे की ओर है। पर पूर्व वर्दी के साथ अनुमान )।

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— क्लिफ एबी

@Mark सुधार के लिए धन्यवाद। आप बता सकते हैं मैं स्मृति से जा रहा था ... :-)।

— whuber

20

व्युत्पत्ति में मैट्रिक्स पथरी शामिल है, जो काफी थकाऊ हो सकती है। हम निम्नलिखित समस्या को हल करना चाहेंगे:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

अब ध्यान दें कि और एक साथ हम पहली ऑर्डर स्थिति में आइसोलटिंग पैदावार हल करता है:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ I)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— pthesling
स्रोत

9

मैं हाल ही में पी-स्प्लिंस के संदर्भ में एक ही सवाल पर अड़ गया हूं और जैसा कि अवधारणा है वही मैं रिज अनुमानक की व्युत्पत्ति पर अधिक विस्तृत जवाब देना चाहता हूं।

हम एक अंतिम मानदंड फ़ंक्शन के साथ शुरू करते हैं जो अंतिम योग में क्लासिक ओएलएस-मानदंड फ़ंक्शन से अलग होता है:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

कहा पे

$p=$ मॉडल में प्रयुक्त कोवरिएबल्स की मात्रा
$x_i^T\beta =$ आपका मानक रैखिक भविष्यवक्ता
पहला समंद एमएसई (वास्तविक मूल्य से भविष्यवाणी के वर्ग विचलन) का प्रतिनिधित्व करता है जिसे हम सामान्य रूप से कम करना चाहते हैं
दूसरा सम्मन हम गुणांक पर लागू होने वाले दंड का प्रतिनिधित्व करता है। यहां हम रिज-संदर्भ में हैं, जिसका अर्थ यूक्लिडियन डिस्टेंस माप है और इसलिए दंड अवधि में 2 की डिग्री है। एक लास्सो-दंड के मामले में हम 1 की डिग्री लागू करेंगे और एक पूरी तरह से अलग आकलनकर्ता पैदा करेंगे।

हम मैट्रिक्स-संकेतन में इस मानदंड को फिर से लिख सकते हैं और आगे इसे तोड़ सकते हैं:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ साथ पहचान मैट्रिक्स रहा $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

अब हम हमारे मानदंड को कम करने वाले खोज करते हैं । अन्य लोगों के बीच हम मैट्रिक्स भेदभाव नियम का उपयोग कर सकते हैं - हम कर सकते हैं यहाँ : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— जनन गोशेनहोफर
स्रोत

@ जान, क्या आप यह समझा सकते हैं कि कैसे बन गया ? मुझे लगता है कि आपने अभी इस पर सही तरीके से आवेदन किया है। लेकिन, आप सभी समीकरणों पर इसे लागू किए बिना सिर्फ एक शब्द पर ट्रांज़ोज़ लागू नहीं कर सकते। मुझे यहां क्या समझ नहीं आ रहा है?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

— थियेटिस्ट

1

@theateist एक प्रत्यारोपित स्केलर समान स्केलर है।

— कॉन्स्टेंटिन

2

कुछ महत्वपूर्ण चीजें हैं जो दिए गए उत्तरों में गायब हैं।

लिए समाधान प्रथम-क्रम आवश्यक स्थिति से लिया गया है: जो पैदावार । लेकिन क्या यह पर्याप्त है? यही है, समाधान केवल एक वैश्विक न्यूनतम है अगर सख्ती से उत्तल है। यह सच दिखाया जा सकता है। $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
समस्या को देखने का एक और तरीका है और बीच समानता देखना। कंस्ट्रेन्ड को । OLS का मतलब ऑर्डिनरी लेस्टर स्क्वेयर है। इस दृष्टिकोण से सिर्फ लाग्रंगियन उत्तल ऑब्जेक्टिव समारोह के वैश्विक न्यूनतम खोजने के लिए इस्तेमाल किया समारोह है उत्तल समारोह के साथ विवश । $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

इन बिंदुओं की एक अच्छी व्याख्या और की व्युत्पत्ति इन बढ़िया व्याख्यान नोट्स में पाई जा सकती है: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

— जोसिपोविक का स्वाद लें
स्रोत