नकारात्मक रिज प्रतिगमन को समझना

मैं नकारात्मक रिज प्रतिगमन के बारे में साहित्य की तलाश कर रहा हूं ।

संक्षेप में, यह नकारात्मक का उपयोग कर रैखिक रिज प्रतिगमन का सामान्यीकरण है $\lambda$ आकलनकर्ता सूत्र में सकारात्मक मामले का एक अच्छा सिद्धांत है: एक हानि समारोह के रूप में, एक बाधा के रूप में, एक बेयर्स के रूप में ... लेकिन मुझे लगता है कि केवल उपरोक्त सूत्र के साथ नकारात्मक संस्करण के साथ खो गया है। मैं जो कर रहा हूं, उसके लिए यह उपयोगी है लेकिन मैं इसे स्पष्ट रूप से व्याख्या करने में विफल हूं।

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

क्या आप नकारात्मक रिज के बारे में कोई गंभीर परिचयात्मक पाठ जानते हैं? इसकी व्याख्या कैसे की जा सकती है?

regression regularization ridge-regression

— बेनोइट सांचेज़
स्रोत

मैं किसी भी परिचयात्मक पाठ के बारे में नहीं जानता जो इसके बारे में बात करता है, लेकिन यह स्रोत ज्ञानवर्धक हो सकता है, विशेष रूप से पृष्ठ 18 के नीचे चर्चा: jstor.org/stable/4616538?seq=1#page_scan_bab_contents

— Ryan Simmons

यदि भविष्य में लिंक की मृत्यु हो जाती है, तो पूर्ण उद्धरण है: Björkström, A. & Sundberg, R. "सातत्य प्रतिगमन पर एक सामान्यीकृत दृश्य"। सांख्यिकी के स्कैंडिनेवियाई जर्नल, 26: 1 (1999): pp.17-30

— रयान सीमन्स

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

नकारात्मक रिज का उल्लेख यहां किया गया है: सांख्यिकी . stackexchange.com/questions/328630/… कुछ लिंक के साथ

— kjetil b halvorsen

यहां नकारात्मक रिज के साथ क्या हो रहा है, इसका ज्यामितीय चित्रण है।

मैं फॉर्म विचार हानि फ़ंक्शन से उत्पन्न होने वालीयहाँ साथ एक दो-आयामी मामले में क्या होता है इसका एक मानक उदाहरण है । शून्य लैम्ब्डा ओएलएस समाधान से मेल खाती है, अनंत लैम्ब्डा अनुमानित बीटा को शून्य तक सिकोड़ता है:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

अब विचार करें कि क्या होता है जब , जहां का सबसे बड़ा विलक्षण मान होता है । बहुत बड़े ऋणात्मक लैम्ब्डा के लिए, बेशक शून्य के करीब हो। जब लैम्ब्डा , शब्द शून्य से आ एक विलक्षण मान प्राप्त करता है, जिसका अर्थ है कि व्युत्क्रम में शून्य से अनंत तक जाने वाला एक कोणीय मान है। यह विलक्षण मान के पहले प्रमुख घटक से मेल खाता है , इसलिए सीमा में किसी को PC1 की दिशा में इंगित करने के लिए है, लेकिन पूर्ण मान अनंत तक बढ़ता है। $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

जो वास्तव में अच्छा है, वह यह है कि कोई इसे उसी तरह से एक ही आकृति पर आकर्षित कर सकता है: बेटों को उन बिंदुओं द्वारा दिया जाता है जहां सर्कल अंदर से दीर्घवृत्त को छूते हैं :

जब , एक समान तर्क लागू होता है, जिससे OLS अनुमानक के दूसरी ओर रिज पथ को जारी रखने की अनुमति मिलती है। अब वृत्त बाहर से दीर्घवृत्त को स्पर्श करते हैं। सीमा, बीटीए पीसी 2 दिशा में पहुंचती है (लेकिन यह इस स्केच के बाहर कहीं अधिक होता है): $\lambda\in(-s^2_\mathrm{min},0]$

The रेंज एक एनर्जी गैप का कुछ है : अनुमान लगाने वाले एक ही वक्र पर नहीं रहते हैं। $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

अद्यतन: टिप्पणियों में @ मर्टिन एल बताते हैं कि for नुकसान में न्यूनतम नहीं है, लेकिन अधिकतम है। और यह अधिकतम द्वारा दिया गया है । यही कारण है कि सर्कल / दीर्घवृत्त के साथ समान ज्यामितीय निर्माण कार्य करता रहता है: हम अभी भी शून्य-ग्रेडिएंट बिंदुओं की तलाश कर रहे हैं। जब , नुकसान न्यूनतम होता है और यह द्वारा दिया जाता है , बिल्कुल सामान्य रूप में मामला। $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

लेकिन जब , नुकसान में या तो अधिकतम या न्यूनतम नहीं है; एक काठी बिंदु के अनुरूप होगा। यह "एनर्जी गैप" की व्याख्या करता है। $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

स्वाभाविक रूप से एक विशेष कंस्ट्रेन्ड रिज प्रतिगमन से उत्पन्न होती है, देखते हैं जब "इकाई से विचरण" रिज प्रतिगमन आकलनकर्ता की सीमा । यह रसायन विज्ञान साहित्य में "सातत्य प्रतिगमन" के रूप में जाना जाता है, से जुड़ा हुआ है, इससे जुड़े धागे में मेरा जवाब देखें। $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

के रूप में बिल्कुल उसी तरह इलाज किया जा सकता नुकसान समारोह रहता ही और रिज आकलनकर्ता अपने न्यूनतम प्रदान करता है:। $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— एक सलि का जन्तु
स्रोत

दिलचस्प रेखांकन के लिए धन्यवाद। जब , आपने जो समाधान रेखांकन किया है वह वैश्विक अधिकतम लागत फ़ंक्शन है, न कि वैश्विक न्यूनतम। इसी तरह, जब , आपने जिस बिंदु को रेखांकन किया है , वह लागत फ़ंक्शन का एक काठी बिंदु होना चाहिए ।

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— मार्टिन एल

लागत समारोह में केवल द्विघात शब्दों पर विचार करें। उन्हें रूप में लिखा जा सकता है Let , तब कोष्ठक में मैट्रिक्स में केवल नकारात्मक आइजेन्यूअल होते हैं। आज्ञा दें , और मैट्रिक्स में सकारात्मक और नकारात्मक दोनों प्रकार के स्वदेशी हैं। ये प्रतिध्वनि प्रभावित करते हैं कि बिंदु एक काठी बिंदु है, न्यूनतम या अधिकतम लागत फ़ंक्शन।

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— मार्टिन एल

यह बहुत उपयोगी है, बहुत बहुत धन्यवाद। मैंने अपने उत्तर के लिए एक अपडेट किया।

— अमीबा

धन्यवाद। विशेष रूप से यह महसूस करने के लिए कि काठी बिंदु केवल । जब , समाधान वास्तव में अभी भी एक वैश्विक न्यूनतम है तब से, सकारात्मक निश्चित है। मेरी पहले की टिप्पणी इस प्रकार आंशिक रूप से गलत थी।

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— मार्टिन एल