प्रिमल, ड्यूल और कर्नेल रिज रिग्रेशन में अंतर

Question

प्राइमल , ड्यूल और कर्नेल रिज रिग्रेशन में क्या अंतर है ? लोग तीनों का उपयोग कर रहे हैं, और अलग-अलग स्रोतों में सभी द्वारा उपयोग किए जाने वाले अलग-अलग संकेतन के कारण मेरे लिए पालन करना मुश्किल है।

तो क्या कोई मुझे सरल शब्दों में बता सकता है कि इन तीनों में क्या अंतर है? इसके अलावा, प्रत्येक के कुछ फायदे या नुकसान क्या हो सकते हैं और उनकी जटिलता क्या हो सकती है?

Answer 1

संक्षिप्त उत्तर: Primal और Dual के बीच कोई अंतर नहीं है - यह केवल समाधान तक पहुंचने के तरीके के बारे में है। कर्नेल रिज प्रतिगमन अनिवार्य रूप से सामान्य रिज प्रतिगमन के समान है, लेकिन गैर-रैखिक जाने के लिए कर्नेल चाल का उपयोग करता है।

रेखीय प्रतिगमन

सबसे पहले, एक सामान्य रूप से कम से कम वर्ग वर्ग रैखिक प्रतिगमन डेटा बिंदुओं के सेट पर एक सीधी रेखा को इस तरह से फिट करने की कोशिश करता है कि चुकता त्रुटियों का योग न्यूनतम हो।

हम साथ सबसे अच्छा फिट लाइन parametrize $\mathbb w$ और प्रत्येक डेटा बिंदु के लिए $(\mathbf x_i, y_i)$ हम चाहते हैं $\mathbf w^T \mathbf x_i \approx y_i$ । चलो $e_i = y_i - \mathbf w^T \mathbf x_i$ भविष्यवाणी की और सही मूल्य के बीच की दूरी - त्रुटि हो। तो हमारा लक्ष्य वर्ग त्रुटियों की राशि को कम करना है $\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$जहाँ $X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$- प्रत्येक के साथ एक डेटा मैट्रिक्स$\mathbf x_i$एक पंक्ति है, और किया जा रहा है$\mathbf y = (y_1 , \ ... \ , y_n)$सभी के साथ एक वेक्टर$y_i$की।

इस प्रकार, उद्देश्य है $\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$ , और समाधान है $\mathbf w = (X^T X)^{-1} X^T \mathbf y$ (के रूप में "सामान्य समीकरण" कहा जाता है)।

एक नया अनदेखी डेटा पॉइंट के लिए $\mathbf x$ हम अपने लक्ष्य मूल्य का अनुमान है y के रूप में y = डब्ल्यू टी एक्स$\hat y$$\hat y = \mathbf w^T \mathbf x$ ।

रिज रिग्रेशन

जब रेखीय प्रतिगमन मॉडल में कई सहसंबंधित चर होते हैं, तो गुणांक $\mathbf w$ खराब रूप से निर्धारित हो सकता है और इसमें बहुत सारे विचरण हो सकते हैं। इस समस्या के समाधान में से एक वजन प्रतिबंधित करने के लिए है $\mathbf w$ तो वे कुछ बजट बढ़ाना नहीं $C$ । यह L 2 का उपयोग करने के बराबर है$L_2$ अनियमितता , जिसे "वजन क्षय" के रूप में भी जाना जाता है: यह कभी-कभी सही परिणाम गायब होने (यानी कुछ पूर्वाग्रह शुरू करके) की कीमत पर विचरण को कम करेगा।

उद्देश्य अब हो जाता है $\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$ ,$\lambda$ नियमितीकरण पैरामीटर होने केसाथ। गणित से गुजरते हुए, हम निम्नलिखित समाधान प्राप्त करते हैं:$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$ । यह सामान्य रैखिक प्रतिगमन के समान है, लेकिन यहां हम X T X के प्रत्येक विकर्ण तत्व में$\lambda$ जोड़ते हैं।$X^T X$

ध्यान दें कि हम डब्ल्यू = एक्स टी के रूप में फिर से $\mathbf w$ लिख सकते हैं$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ (विवरण के लिएयहांदेखें)। एक नया अनदेखी डेटा पॉइंट के लिए$\mathbf x$ हम अपने लक्ष्य मूल्य का अनुमान है y के रूप में y = एक्स टी डब्ल्यू = एक्स टी एक्स टी$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ । आज्ञा देना$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$ । तो y = एक्स टी एक्स टी α = n Σ मैं = 1 α मैं ⋅ एक्स टी एक्स मैं$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$ ।

रिज रिग्रेशन ड्यूल फॉर्म

हम अपने उद्देश्य पर एक अलग नज़र डाल सकते हैं - और निम्नलिखित द्विघात कार्यक्रम समस्या को परिभाषित कर सकते हैं:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st$e_i = y_i - \mathbf w^T \mathbf x_i$ for$i = 1 \, .. \, n$ और$\| \mathbf w \|^2 \leqslant C$ ।

यह एक ही उद्देश्य है, लेकिन कुछ अलग तरीके से व्यक्त किया गया है, और यहां $\mathbf w$ के आकार पर बाधा स्पष्ट है। इसे हल करने के लिए, हम Lagrangian $\mathcal L_p(\mathbf w, \mathbf e ; C)$ को परिभाषित करते हैं - यह वह प्राणिक रूप है जिसमें primal वैरिएबल $\mathbf w$ और $\mathbf e$ । फिर हम इसे ऑप्ट $\mathbf e$ और $\mathbf w$ अनुकूलित करते हैं । दोहरी सूत्रीकरण प्राप्त करने के लिए, हमने पाया $\mathbf e$ और $\mathbf w$ वापस $\mathcal L_p(\mathbf w, \mathbf e ; C)$ ।

तो, $\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$ । डेरिवेटिव डब्ल्यूटी$\mathbf w$ और $\mathbf e$ लेने से, हम ई = प्राप्त करते हैं$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$और$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$। Α=देकर$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$, और डाल$\mathbf e$और$\mathbf w$के लिए वापस$\mathcal L_p(\mathbf w, \mathbf e ; C)$पर हम पाते हैं दोहरी लाग्रंगियन$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ । यदि हम एक व्युत्पन्न wrt$\boldsymbol \alpha$ लेते हैं, तो हम$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$ - सामान्य कर्नेल रिज प्रतिगमन के समान उत्तर देते हैं। व्युत्पन्न wrt$\lambda$ लेने की कोई आवश्यकता नहीं है- यह$C$ पर निर्भर करता है , जो एक नियमितीकरण पैरामीटर है - और यह$\lambda$ नियमितकरण पैरामीटर भीबनाता है।

इसके बाद, $\boldsymbol \alpha$ को $\mathbf w$ लिए primal फॉर्म सॉल्यूशन में रखें , और w = प्राप्त करें$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$। इस प्रकार, दोहरा रूप सामान्य रिज रिज्रेशन की तरह ही समाधान देता है, और यह उसी समाधान में आने का एक अलग तरीका है।

कर्नेल रिज प्रतिगमन

गुठली का उपयोग दो वैक्टर के आंतरिक उत्पाद की गणना करने के लिए किया जाता है, जिसमें कुछ फीचर स्पेस में भी नहीं जाते हैं। हम एक कर्नेल देख सकते हैं $k$ के रूप में $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$ , हालांकि हम नहीं जानते कि क्या $\phi(\cdot)$ है - हम केवल यह मौजूद है पता है। कई गुठली हैं, जैसे आरबीएफ, बहुपद, आदि।

हम अपने रिज रिग्रेशन को नॉन-लीनियर बनाने के लिए कर्नेल का उपयोग कर सकते हैं। मान लीजिए कि हमें एक गिरी है $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$ । चलो $\Phi(X)$ एक मैट्रिक्स हो जहां प्रत्येक पंक्ति है $\phi(\mathbf x_i)$ , यानी $\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

अब हम सिर्फ रिज प्रतिगमन के लिए समाधान लेने के लिए और हर जगह ले सकता है $X$ के साथ $\Phi(X)$ : $\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$ । एक नया अनदेखी डेटा पॉइंट के लिए$\mathbf x$ हम अपने लक्ष्य मूल्य का अनुमान है y के रूप में y = φ ( एक्स ) टी Φ ( एक्स ) टी$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$ ।

First, we can replace $\Phi(X) \Phi(X)^T$ by a matrix $K$, calculated as $(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$. Then, $\phi(\mathbf x)^T \Phi(X)^T$ is $\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$. So here we managed to express every dot product of the problem in terms of kernels.

Finally, by letting $\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$ (as previously), we obtain $\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

References

• Machine Learning I class at TU Berlin
• Elements of Statistical Learning, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf

Comments

I am impressed by the well-organized discussion. However, your early reference to "outliers" confused me. It appears the weights $w$ apply to the variables rather than the cases, so how exactly would ridge regression help make the solution robust to outlying cases, as suggested by the illustration?

— whuber

Excellent answer, Alexey (though I wouldn't call it "simple words")! +1 with no questions asked. You like to write in LaTeX, don't you?

— Aleksandr Blekh

I suspect you might be confusing some basic things here. AFAIK, ridge regression is neither a response to nor a way of coping with "noisy observations." OLS already does that. Ridge regression is a tool used to cope with near-collinearity among regressors. Those phenomena are completely different from noise in the dependent variable.

— whuber

+1 whuber. Alexey you are right it is overfitting -ie too many parameters for the available data - not really noise. [ and add enough dimensions for fixed sample size and 'any' data set becomes collinear]. So a better 2-d picture for RR would be all the points clustered around (0,1) with a single point at (1,0) ['justifying' the slope parameter]. See ESL fig 3.9,page 67 web.stanford.edu/~hastie/local.ftp/Springer/OLD/…. also look at primal cost function: to increase weight by 1 unit, error must decrease by $1/\lambda$ unit

— seanv507

I believe you meant add $\lambda$ to diagonal elements of $X^TX$ not subtract(?) in the ridge regression section. I applied the edit.

— Heteroskedastic Jim