"इकाई-विचरण" रिज प्रतिगमन अनुमानक की सीमा जब

एक अतिरिक्त अवरोध के साथ रिज प्रतिगमन पर विचार करें, जिसमें आवश्यक है कि में यूनिट योग है वर्गों (समकक्ष, इकाई विचरण); यदि आवश्यक हो, तो कोई मान सकता है कि पास इकाई राशि का योग है: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

की सीमा क्या है? $\hat{\boldsymbol\beta}_\lambda^*$ जब $\lambda\to\infty$ ?

यहाँ कुछ कथन दिए गए हैं जो मुझे विश्वास है कि सच हैं:

जब $\lambda=0$ , तो एक साफ सुथरा समाधान होता है: OLS आकलनकर्ता $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ और इसे सामान्य करने के लिए बाधा को संतुष्ट करने के लिए (एक Lagrange गुणक और विभेदक जोड़कर इसे देख सकते हैं):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
सामान्य तौर पर, समाधान
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ मैं एक बंद प्रपत्र समाधान नहीं देखता जब $\lambda >0$ । ऐसा लगता है कि समाधान सामान्य आरआर अनुमानक के बराबर है जो कुछ साथ है $\lambda^*$ जो बाधा को संतुष्ट करने के लिए सामान्यीकृत है, लेकिन मुझे लिए एक बंद सूत्र नहीं दिखता है $\lambda^*$ ।
जब $\lambda\to \infty$ , सामान्य आरआर अनुमानक
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ स्पष्ट रूप से शून्य में परिवर्तित हो जाता है, लेकिन इसकी दिशा $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ की दिशा में $\mathbf X^\top \mathbf y$ , उर्फ पहले आंशिक कम से कम वर्ग (PLS) घटक।

कथन (2) और (3) मिलकर मुझे लगता है कि शायद $\hat{\boldsymbol\beta}_\lambda^*$ भी उचित रूप से सामान्यीकृत परिवर्तित हो जाता है $\mathbf X^\top \mathbf y$ , लेकिन मुझे यकीन नहीं है कि अगर यह सही है और मैं किसी भी तरह से खुद को समझाने में कामयाब नहीं हुआ हूं।

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

जवाबों:

एक ज्यामितीय व्याख्या

प्रश्न में वर्णित अनुमानक निम्न अनुकूलन समस्या के बराबर लैग्रेंज गुणक है:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

जिसे सबसे छोटे दीर्घवृत्तीय रूप में देखा जा सकता है, जो कि गोले और प्रतिपदार्थ के प्रतिच्छेदन को स्पर्श करता है। $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

मानक रिज प्रतिगमन दृश्य की तुलना

एक ज्यामितीय दृश्य के संदर्भ में यह उस बिंदु के पुराने दृश्य (मानक रिज प्रतिगमन के लिए) को बदलता है जहां एक गोलाकार (त्रुटियां) और गोला ( ) स्पर्श होता है $\|\beta\|^2=t$ । एक नए दृश्य में जहां हम उस बिंदु की तलाश करते हैं जहां गोलाकार (त्रुटियां) एक वक्र को छूती है (बीटा का मानदंड ) $\|X\beta\|^2=1$ । एक गोले (बाईं छवि में नीला) बाधा के साथ चौराहे के कारण निचले आयाम की आकृति में बदल जाता है । $\|X\beta\|=1$

दो आयामी मामले में यह देखने के लिए सरल है।

जब हम पैरामीटर ट्यून करते हैं तो हम नीले / लाल क्षेत्रों की सापेक्ष लंबाई या और के सापेक्ष आकार को बदलते हैं (लैग्रैजियन मल्टीप्लायरों के सिद्धांत में औपचारिक रूप से एक साफ तरीका है और ठीक से वर्णन करें कि इसका मतलब यह है कि प्रत्येक के लिए फ़ंक्शन के रूप में , या उलटा, एक नीरस फ़ंक्शन है। लेकिन मैं कल्पना करता हूं कि आप सहज रूप से देख सकते हैं कि स्क्वेर्ड अवशिष्टों का योग केवल तब बढ़ता है जब हम घटते हैं । ( )। $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

समाधान for है जैसा कि आपने 0 और बीच की रेखा पर तर्क दिया है $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

पहले प्रिंसिपल कंपोनेंट के लोडिंग में लिए समाधान है (वास्तव में जैसा कि आपने टिप्पणी की थी)। यह वह बिंदु है जहां लिए सबसे छोटा है । यह वह बिंदु है जहाँ वृत्त एक बिंदु में दीर्घवृत्त को स्पर्श करता है । $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

इस 2-घ में गोलक के चौराहे के किनारों को देखें और गोलाकार अंक हैं। कई आयामों में ये वक्र होंगे $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(मैंने पहले सोचा था कि ये घटता दीर्घवृत्त होंगे, लेकिन वे अधिक जटिल हैं। आप कल्पना कर सकते हैं दीर्घवृत्त गेंद द्वारा प्रतिच्छेदित किया जा रहा जैसा कि कुछ है। एलिपोसिड फ्रुम की तरह लेकिन किनारों के साथ जो एक सरल एलिप्स नहीं हैं) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

सीमा $\lambda \to \infty$

पहले (पिछले संपादन) में मैंने लिखा था कि ऊपर कुछ सीमित जिसके सभी समाधान समान हैं (और वे बिंदु )। लेकिन ऐसा नहीं है $\lambda_{lim}$ $\beta^*_\infty$

एक लार्स एल्गोरिथ्म या ढाल वंश के रूप में अनुकूलन पर विचार करें। किसी भी बिंदु के लिए तो एक जिस दिशा में हम बदल सकते हैं नहीं है ऐसी है कि दंड अवधि बढ़ जाती है एसएसआर अवधि की तुलना में कम कम हो जाती है तो आप कम से कम में नहीं हैं । $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

में सामान्य रिज प्रतिगमन आप के लिए एक शून्य ढलान (सभी दिशाओं में) है बिंदु में । तो सभी परिमित लिए समाधान नहीं हो सकता है (चूंकि एक असीम कदम दंड को बढ़ाए बिना चुकता अवशिष्ट के योग को कम करने के लिए बनाया जा सकता है)। $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
LASSO के लिए यह समान नहीं है: पेनल्टी (इसलिए यह शून्य ढलान के साथ द्विघात नहीं है)। उस कारण से LASSO के पास कुछ सीमित मान जिसके ऊपर सभी समाधान शून्य हैं क्योंकि पेनल्टी टर्म (गुणा करके ) से वर्ग के अवशिष्ट योग की तुलना में अधिक घट जाएगी। $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
विवश रिज के लिए आपको नियमित रिज रिग्रेशन के समान ही मिलता है। आप को बदलते हैं से शुरू तो यह परिवर्तन किया जाएगा सीधा करने के लिए ( दीर्घवृत्त की सतह पर लम्ब है ) और को दंड अवधि को बदलने के बिना एक infinitesimal कदम से बदला जा सकता है लेकिन चुकता अवशिष्ट के योग को कम कर सकता है। इस प्रकार किसी भी परिमित लिए बिंदु समाधान नहीं हो सकता है। $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

सीमा से आगे के नोट्स $\lambda \to \infty$

अनंत के लिए लिए सामान्य रिज प्रतिगमन सीमा विवश रिज प्रतिगमन में एक अलग बिंदु से मेल खाती है। यह 'पुरानी' सीमा उस बिंदु से मेल खाती है, जहां -1 के बराबर है। फिर सामान्यीकृत समस्या में लैगरेंज फ़ंक्शन का व्युत्पन्न $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ मानक समस्या में Lagrange फ़ंक्शन के व्युत्पन्न के लिए एक समाधान से मेल खाती है

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

StackExchangeStrike द्वारा लिखित

— सेक्सटस एम्पिरिकस
स्रोत

+1। बहुत बहुत धन्यवाद, यह सुपर सहायक है! मुझे इसके माध्यम से सोचने के लिए कुछ समय की आवश्यकता होगी।

— अमीबा का कहना है कि मोनिका

यह इंगित करने योग्य है कि लाल और काले दीर्घवृत्तों का आकार समान है: यही कारण है कि बिंदु जहां वे अपने केंद्रों को जोड़ने वाली रेखा पर झूठ को छूते हैं। मेरे प्रश्न में बिंदु # 1 का अच्छा चित्रमय प्रमाण।

— अमीबा का कहना है कि

मैं यह समझने की कोशिश कर रहा हूं कि आपके ड्राइंग में वह बीटा कहां है जो अनंत लैम्ब्डा के साथ रिज आकलनकर्ता के साथ मेल खाता है, जो काले दीर्घवृत्त पर झूठ बोलने के लिए सामान्यीकृत है। मुझे लगता है कि यह कहीं न कहीं और (मेरी संकेतन का उपयोग करके) के बीच है - दो बिंदु जो आपके ड्राइंग पर काले खुले सर्कल के साथ चिह्नित हैं। इसलिए यदि हम रिज रिग्रेशन करते हैं और समाधान को सामान्य करते हैं और लैम्ब्डा को 0 से बढ़ाकर अनंत तक कर देते हैं, तो यह संभवतः हमें एक ही चाप के साथ ले जाता है, लेकिन पीसी 1 तक पूरे तरीके से नहीं। इसके बजाय, में डालना स्पष्ट रूप से, समाधान सभी तरह से PC1 तक जाता है।

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— अमीबा का कहना है कि मोनिका

+5 (मैंने एक इनाम शुरू किया है कि मैं खुशी से आपके जवाब के लिए पुरस्कार दूंगा)। मैंने अपना स्वयं का उत्तर भी पोस्ट किया है क्योंकि मैंने कुछ बीजीय व्युत्पन्न किए हैं और प्रश्न को जोड़ना बहुत अधिक था। मैं आपके निष्कर्ष से आश्वस्त नहीं हूं कि कुछ परिमित होगा, जिसके बाद समाधान अब नहीं बदलेगा और PC1 द्वारा दिया जाएगा। मैं इसे बीजगणितीय रूप से नहीं देखता हूं, और मुझे आपके तर्क को समझ में नहीं आता कि यह क्यों होना चाहिए। आइए इसे जानने की कोशिश करें।

λ_{lim}

$\lambda_\text{lim}$

— अमीबा का कहना है कि मोनिका

@amoeba, आप परिमित बारे में सही थे मौजूदा नहीं। मैंने बहुत सहजता से तर्क दिया और नियमित रिज रिग्रेशन के लिए विवश रिग रिग्रेशन के लिए एक विशेष स्थिति से जल्दी से कूद गया। नियमित आरआर में शून्य ढलान (सभी दिशाओं में) के लिए में बिंदु । मैंने सोचा था कि (क्योंकि ) आपको विवश प्रतिगमन के साथ यह नहीं मिलता है। हालाँकि, क्योंकि को दीर्घवृत्त के लिए विवश किया जाता है आप सभी दिशाओं में ' ' नहीं ले जा सकते ।

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— सेक्सटस एम्पिरिकस

यह @ मार्टिज़न के सुंदर ज्यामितीय उत्तर के लिए एक बीजीय समकक्ष है।

सबसे पहले, जब बहुत है प्राप्त करने के लिए सरल: सीमा में, नुकसान फ़ंक्शन में पहला शब्द नगण्य हो जाता है और इस तरह से अवहेलना की जा सकती है। अनुकूलन समस्या जो का पहला प्रमुख घटक है

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (उचित रूप से छोटा)। यह सवाल का जवाब देता है।

अब हम में से किसी भी मूल्य के लिए समाधान पर विचार करते हैं है कि मैं अपने प्रश्न के बिंदु # 2 में निर्दिष्ट। हानि फ़ंक्शन को जोड़ना Lagrange गुणक और विभेदित करने पर, हम प्राप्त करते हैं $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

इस समाधान व्यवहार कैसे जब करता है अनंत को शून्य से बढ़ता है? $\lambda$

जब , तो हम OLS समाधान का एक छोटा संस्करण प्राप्त करते हैं: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
के सकारात्मक लेकिन छोटे मूल्यों के लिए :, समाधान कुछ रिज आकलनकर्ता के एक बढ़ाया संस्करण है $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
जब, का मान बाधा को पूरा करने के लिए आवश्यक है । इसका मतलब है कि समाधान पहले PLS घटक का एक छोटा संस्करण है (जिसका अर्थ है कि संबंधित ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
जब उससे बड़ा हो जाता है, तो आवश्यक शब्द नकारात्मक हो जाता है। अब से, समाधान नकारात्मक नियमितीकरण पैरामीटर ( नकारात्मक रिज ) के साथ छद्म-रिज अनुमानक का एक छोटा संस्करण है । दिशाओं के संदर्भ में, अब हम अनंत लंबोदर के साथ पिछले रिज प्रतिगमन हैं। $\lambda$ $(1+\mu)$
जब , शब्द शून्य (या विचलन) पर जाएगा अनन्तता) जब तक जहां का सबसे बड़ा विलक्षण मान है । यह परिमित करेगा और पहले प्रमुख अक्ष । हमें बाधा को संतुष्ट करने के लिए करना होगा। इस प्रकार, हम उस $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

कुल मिलाकर, हम देखते हैं कि यह विवश न्यूनतम समस्या निम्नलिखित स्पेक्ट्रम पर ओएलएस, आरआर, पीएलएस और पीसीए के इकाई-विचरण संस्करणों को शामिल करती है:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

यह एक अस्पष्ट (?) Chemometrics रूपरेखा "सातत्य प्रतिगमन" (देखें बुलाया के बराबर हो रहा है https://scholar.google.de/scholar?q="continuum+regression " , विशेष रूप से स्टोन और ब्रूक्स 1990, Sundberg 1993 में Björkström & Sundberg 1999, आदि) जो एक तदर्थ मानदंड को अधिकतम करके उसी एकीकरण की अनुमति देता है।यह स्पष्ट रूप से पैदावार ओएलएस जब , पीएलएस जब , पीसीए जब , और पैदावार दिखाया जा सकता है पैदावार के लिए दिखाया गया है

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , सुंदरबर्ग 1993 देखें।

आरआर / पीएलएस / पीसीए / आदि के साथ काफी अनुभव होने के बावजूद, मुझे स्वीकार करना होगा कि मैंने पहले कभी "निरंतरता प्रतिगमन" के बारे में नहीं सुना है। मुझे यह भी कहना चाहिए कि मैं इस शब्द को नापसंद करता हूं।

एक योजनाबद्ध जो मैंने @ मार्टिज़न एक पर आधारित थी:

अपडेट: चित्रा नकारात्मक रिज पथ के साथ अद्यतन, यह कैसे दिखना चाहिए यह सुझाव देने के लिए @Martijn के लिए बहुत धन्यवाद। अधिक विवरण के लिए नकारात्मक रिज प्रतिगमन को समझने में मेरा उत्तर देखें।

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

"सातत्य प्रतिगमन" एक आम ढांचे के भीतर पीएलएस और पीसीए को एकीकृत करने के उद्देश्य से आश्चर्यजनक रूप से व्यापक श्रेणी की तकनीकों में से एक है। मैंने इसके बारे में कभी नहीं सुना था, संयोग से, जब तक कि नकारात्मक रिज पर शोध नहीं किया जाता (मैं Bjorkstron & Sundberg, 1999 का एक लिंक प्रदान करता हूं, तो नकारात्मक रिज प्रश्न की पहली टिप्पणी में आप जिस लिंक से लिंक करते हैं), हालांकि यह व्यापक रूप से चर्चा में लगता है रसायन विज्ञान साहित्य। ऐसा कुछ ऐतिहासिक कारण होना चाहिए कि यह सांख्यिकी के अन्य क्षेत्रों से अलग-थलग क्यों विकसित हुआ है। (1/3)

— रयान सीमन्स

एक पेपर जिसे आप पढ़ना चाहते हैं वह है डे जोंग एट अल। (2001) । "कैनोनिकल पीएलएस" का उनका निरूपण आपके समतुल्य होने की एक त्वरित झलक पर लगता है, हालांकि मैं मानता हूं कि मैंने अभी तक गणित की तुलना में कड़ाई नहीं की है (वे एक ही नस में कई अन्य पीएलएस-पीसीए सामान्यीकरण की समीक्षा भी प्रदान करते हैं)। लेकिन यह देखना सुखद हो सकता है कि उन्होंने इस समस्या को कैसे समझा। (२/३)

— रयान सीमन्स

मामले में जो लिंक मर जाता है, पूर्ण उद्धरण है: सिजमैन डी जोंग, बैरी एम। वाइज, एन। लॉरेंस रिकर। "कैनोनिकल आंशिक कम से कम वर्ग और सातत्य शक्ति प्रतिगमन।" केमोमेट्रिक्स जर्नल, 2001; 15: 85-100। doi.org/10.1002/… (3/3)

— रयान सीमन्स

आह, ठीक है, तो और करने के लिए जाना अनंत लेकिन उनके अनुपात अवशेष । किसी भी स्थिति में, नकारात्मक रिज प्रतिगमन पथ पीएलएस और पीसीए वैक्टर के बीच (नकारात्मक) क्षेत्र में होना चाहिए जैसे कि दीर्घवृत्त पर उनका प्रक्षेपणबिंदु PLS और PCA के बीच है। (इन्फिनिटी के लिए जाने वाला मान समझ में आता है क्योंकि अनंत तक भी जाता है, इसलिए यह मार्ग निचले दाएं तरफ शुरू होता है, शुरू में नकारात्मक, PLS और अंततः PCA के लिए स्पर्श करता है)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

यह विज़ुअलाइज़ेशन में जोड़ देगा। मुझे लगता है कि वर्तमान तीन आरआर पथ बिंदु (जहां वृत्त और दीर्घवृत्त स्पर्श) नीचे की ओर दाईं ओर और अंत में अनंत तक जारी है, वृत्त और दीर्घवृत्त को उस स्थान की दिशा में 'स्पर्श' करना चाहिए जहां सर्कल है ellipsoid को स्पर्श करता है

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Ciricus

"इकाई-विचरण" रिज प्रतिगमन अनुमानक की सीमा जब

एक ज्यामितीय व्याख्या

मानक रिज प्रतिगमन दृश्य की तुलना

सीमाλ→∞λ→∞\lambda \to \infty

सीमा से आगे के नोट्सλ→∞λ→∞\lambda \to \infty

सीमा $\lambda \to \infty$

सीमा से आगे के नोट्स $\lambda \to \infty$