रिज रिग्रेशन और पीसीए रिग्रेशन के बीच संबंध

मुझे याद है कि वेब पर कहीं भी रिज रिग्रेशन ( नियमितीकरण के साथ) और PCA रिग्रेशन के बीच एक कनेक्शन पढ़ा गया है : हाइपरपरमीटर साथ -इग्रेटेड रिग्रेशन का उपयोग करते समय , यदि , तो प्रतिगमन हटाने के बराबर है सबसे छोटे eigenvalue के साथ पीसी चर। $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

यह सच क्यों है?
क्या इसका अनुकूलन प्रक्रिया से कोई लेना-देना है? ईमानदारी से, मुझे उम्मीद है कि यह ओएलएस के बराबर होगा।
क्या किसी के पास इसके लिए कोई संदर्भ है?

— जोस जी
स्रोत

क्या आप अधिक स्पष्ट रूप से बता सकते हैं कि पीसीए और प्रतिगमन आपके कथन में कैसे जुड़े हैं? प्रतिगमन स्वतंत्र चर से निर्भरता को अलग करता है, जबकि पीसीए में कुछ भी नहीं होता है। तो क्या चर आप पीसीए को लागू कर रहे हैं? यह सिर्फ स्वतंत्र चर नहीं हो सकता है, इसके लिए प्रतिगमन के साथ बहुत कम होगा। लेकिन अगर यह सभी चर पर लागू होता है, तो आइजनवेक्टर उन सभी के रैखिक संयोजन हैं। डेटासेट से किसी भी ऐसे घटक को हटाने का संभवतः क्या मतलब हो सकता है , क्योंकि इसमें आश्रित चर शामिल है?

— whuber

कनेक्शन (जैसा कि मैं समझता हूं), यह है कि यदि आप एक बहुत छोटे नियमितीकरण दंड का उपयोग करते हैं, तो एक L2-नियमित प्रतिगमन सबसे छोटा eigenvalue चर को हटा देगा। इसलिए, डिजाइन मैट्रिक्स पर एसवीडी करना, और सबसे छोटे आइगेनवैल्यू के साथ चर को हटाना "सॉफ्ट" नियमितीकरण दंड के साथ एक प्रतिगमन के बराबर है ... यह मैंने निकटतम विवरण के लिए पाया है: sites.stat.psu। edu / ~ जियाली / पाठ्यक्रम / स्टेट ५ ९ notes / नोट्स २ / lreg.pdf

— जोस जी

आपका संदर्भ आपकी टिप्पणियों में आप जो कह रहे हैं, उसके विपरीत प्रदर्शित होता है: छोटे , परिणामों में बहुत कम परिवर्तन होता है। कुछ भी नहीं हटाया जाता है। वास्तव में, कई स्लाइड्स दंडित प्रतिगमन के बीच के अंतर को इंगित करने के उद्देश्य से लगती हैं (जिसमें अनुमान ओर सिकुड़ जाते हैं ) और "पीसीए प्रतिगमन" (जिसमें सबसे छोटे घटक पूरी तरह से हटा दिए जाते हैं - जो एक बहुत बुरी बात हो सकती है कुछ परिस्थितियों में)।

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

मम .. एक और संदर्भ मिला: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf स्लाइड में, " और प्रमुख घटक", यह कहता है कि बड़े पैमाने पर इन घटकों के साथ रिज संपीड़न प्रोजेक्ट्स y dj * आह *

y^{r i d g e}

$y^{ridge}$

— जोस जी

क्या आपने देखा कि पी। उस नवीनतम संदर्भ के 14 स्पष्ट रूप से आपके प्रश्न का उत्तर देते हैं?

— whuber

जवाबों:

Let केंद्रित भविष्यवक्ता मैट्रिक्स है और इसके विलक्षण मूल्य विघटन with को विकर्ण तत्वों साथ विकर्ण मैट्रिक्स । $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

साधारण कम से कम वर्गों (OLS) प्रतिगमन के फिट किए गए मूल्यों कोरिज प्रतिगमन के फिट किए गए मूल्यों को द्वारा दिया जाता हैफिट पीसीए प्रतिगमन के साथ (पीसीआर) मूल्यों घटकों द्वारा दिया जाता है

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

{\hat{y}}_{r i d g e} = X β_{r i d g e} = X (X^{⊤} X + λ I)^{- 1} X^{⊤} y = U d i a g {\frac{s_{i}^{2}}{s_{i}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

{\hat{y}}_{P C R} = X_{P C A} β_{P C R} = U d i a g {1, \dots, 1, 0, \dots 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$ जहाँ शून्य के बाद हैं।

k

$k$

यहाँ से हम देख सकते हैं कि:

यदि तो । $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
यदि तो बड़ा विलक्षण मान , कम यह रिज प्रतिगमन में दंडित किया जाएगा। छोटे एकवचन मान ( और छोटे) को सबसे अधिक दंडित किया जाता है। $\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
इसके विपरीत, पीसीए प्रतिगमन में, बड़े विलक्षण मूल्यों बरकरार रखा जाता है, और छोटे लोगों (निश्चित संख्या के बाद ) पूरी तरह से हटा दिया जाता है। यह पहले वाले के लिए और बाकी के लिए के अनुरूप होगा । $k$ $\lambda=0$ $k$ $\lambda=\infty$
इसका मतलब है कि रिज प्रतिगमन को पीसीआर के "सुचारू संस्करण" के रूप में देखा जा सकता है।

(यह अंतर्ज्ञान उपयोगी है, लेकिन हमेशा पकड़ में नहीं आता है; उदाहरण के लिए, यदि सभी लगभग समान हैं, तो रिज प्रतिगमन केवल लगभग सभी समान रूप से सभी प्रमुख घटकों को दंडित करने में सक्षम होगा और पीसीआर से दृढ़ता से भिन्न हो सकता है)। $s_i$ $\mathbf X$
रिज रिग्रेशन अभ्यास में बेहतर प्रदर्शन करने के लिए जाता है (जैसे कि उच्च क्रॉस-मान्य प्रदर्शन करने के लिए)।
अब आपके प्रश्न का विशेष रूप से उत्तर देना: if , तो । मैं नहीं देखता कि यह सबसे छोटे को हटाने के लिए कैसे अनुरूप हो सकता है । मुझे लगता है कि यह गलत है। $\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

एक अच्छा संदर्भ द स्टैटिस्टिकल ऑफ स्टैटिस्टिकल लर्निंग , धारा 3.4.1 "रिज रिग्रेशन" है।

इस धागे को भी देखें: प्रतिगमन में रिज नियमितीकरण की व्याख्या और विशेष रूप से @BrianBorchers द्वारा उत्तर।

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

क्या यह कभी विलक्षण मूल्यों को नरम-दहलीज बना देगा, अधिकतम ( थ्रेश, 0)? (कमंद प्रतिगमन नरम थ्रेसहोल्ड , स्पेक्ट्रम नहीं।)

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

— Denis

आपके अन्यथा महान जवाब के लिए एक सुधार: पहली PC पर प्रतिगमन में लगे हुए मूल्य वास्तव में यह आपके द्वारा अध्याय के अंत में एक अभ्यास है।

k

$k$

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

— मथायस श्मिटब्लैचर

ये सुन्दर है।

— xxx222

सांख्यिकीय शिक्षण के तत्वों ने इस संबंध पर एक महान चर्चा की है।

जिस तरह से मैंने इस संबंध और तर्क की व्याख्या की वह इस प्रकार है:

पीसीए फ़ीचर वेरिएबल्स का एक लीनियर कॉम्बिनेशन है, जो नए स्पेस द्वारा बताए गए डेटा के वेरिएंस को अधिकतम करने का प्रयास करता है।
मल्टीकोलिनरिटी (या डेटा की पंक्तियों की तुलना में अधिक पूर्वसूचक) से पीड़ित डेटा एक कोवरियन मैट्रिक्स की ओर जाता है जिसमें पूर्ण रैंक नहीं होती है।
इस Covariance मैट्रिक्स के साथ, हम लिस्टर स्क्वायर समाधान का निर्धारण करने के लिए इनवर्टर नहीं कर सकते हैं; यह अनंत तक को उड़ाने के लिए लेस्टर वर्ग गुणांक के संख्यात्मक अनुमान का कारण बनता है।
रिज प्रतिगमन मैट्रिक्स प्रतिक्षेपण और एलएस गुणांक के अभिसरण के लिए अनुमति देने के लिए कोवरियन मैट्रिक्स पर जुर्माना लैंबडा का परिचय देता है।

पीसीए कनेक्शन यह है कि रिज प्रतिगमन यह निर्धारित करने के लिए विशेषताओं के रैखिक संयोजनों की गणना कर रहा है कि मल्टीकोलिनरिटी कहां हो रही है। फीचर्स के लीनियर कॉम्बिनेशन (प्रिंसिपल कंपोनेंट एनालिसिस) सबसे छोटे वेरिएशन के साथ (और इस तरह छोटे सिंगुलर वैल्यू और पीसीए में छोटे आइजनवेल्स) सबसे कठिन हैं।

इस पर इस तरीके से विचार करें; सबसे छोटे विचरण के साथ फीचर्स के रैखिक संयोजन के लिए, हमने उन विशेषताओं को पाया है जो सबसे अधिक समान हैं, इसलिए बहुसंस्कृति का कारण बनती हैं। चूंकि रिज फ़ीचर सेट को कम नहीं करता है, इसलिए जो भी इस रैखिक संयोजन का वर्णन कर रहा है, उस दिशा के अनुरूप मूल फ़ीचर सबसे अधिक दंडित किया गया है।

— MDornbos
स्रोत

रेखीय समीकरण पर विचार करें और के SVD , जहां

X β = y,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = U S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{O L S} = V S^{- 1} U^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{ridge}^{- 1} & = diag (\frac{s_{i}}{s_{i}^{2} + α}), \\ β_{ridge} & = V S_{ridge}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

PCA प्रतिस्थापित करता है $\mathbf S^{-1}$

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{i}} θ (s_{i} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$

θ

$\theta$

γ

$\gamma$

इस प्रकार दोनों विधियाँ छोटे मानों के अनुरूप उप-जातियों के प्रभाव को कमजोर करती हैं। पीसीए एक कठिन तरीके से करता है, जबकि रिज एक चिकनी दृष्टिकोण है।

अधिक नियमित रूप से, अपनी नियमितीकरण योजना साथ आने के लिए स्वतंत्र महसूस करें।

S_{myReg}^{- 1} = diag (R (s_{i})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$

R (x)

$R(x)$

x \to 0

$x\rightarrow 0$

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$

x

$x$

— davidhigh
स्रोत