विकर्ण में स्थिरांक जोड़ने से रिज का अनुमान ओएलएस से बेहतर क्यों हो जाता है?

Question

मैं समझता हूँ कि रिज प्रतिगमन अनुमान है कि के आकार के वर्ग का अवशिष्ट राशि और एक दंड को कम करता है$\beta$$\beta$

$$\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big]$$

हालांकि, मैं पूरी तरह से तथ्य यह है कि के महत्व को समझ में नहीं आता $\beta_\text{ridge}$ से अलग है $\beta_\text{OLS}$ केवल के विकर्ण लिए एक छोटा सा निरंतर जोड़कर $X'X$ । वास्तव में,

$$\beta_\text{OLS} = (X'X)^{-1}X'y$$

1. मेरी पुस्तक में उल्लेख है कि यह अनुमान को और अधिक स्थिर बनाता है - क्यों?

2. रिज अनुमान के 0 के प्रति संकोचन से संबंधित संख्यात्मक स्थिरता है, या यह केवल एक संयोग है?

Answer 1

एक अनपेक्षितकृत प्रतिगमन में, आप अक्सर पैरामीटर अंतरिक्ष में एक रिज * प्राप्त कर सकते हैं, जहां रिज के साथ कई अलग-अलग मूल्य सभी या कम से कम वर्गों के मानदंड पर भी करते हैं।

* (कम से कम, यह संभावना समारोह में एक रिज है - वे वास्तव में आरएसएस की कसौटी में $ घाटियों हैं , लेकिन मैं इसे रिज कहूंगा, क्योंकि यह पारंपरिक लगता है - या यहां तक ​​कि, एलेक्सिस अंक के रूप में) टिप्पणियों में बाहर, मैं कह सकता हूँ कि एक थाल्वेग , एक घाटी का प्रतिरूप है)

पैरामीटर स्पेस में कम से कम चौकोर कसौटी में रिज की उपस्थिति में, रिज रिग्रेशन के साथ आपको मिलने वाला जुर्माना कसौटी पर खरा उतरने के साथ उन लकीरों से छुटकारा दिलाता है जैसे कि पैरामीटर मूल से दूर होते हैं।

[ साफ छवि ]

पहले प्लॉट में, पैरामीटर मान (रिज के साथ) में एक बड़ा बदलाव आरएसएस की कसौटी में एक मामूली बदलाव पैदा करता है। यह संख्यात्मक अस्थिरता पैदा कर सकता है; यह छोटे परिवर्तनों के लिए बहुत संवेदनशील है (उदाहरण के लिए डेटा मान में छोटा परिवर्तन, यहां तक ​​कि ट्रंकेशन या राउंडिंग त्रुटि)। पैरामीटर अनुमान लगभग पूरी तरह से सहसंबद्ध हैं। आपको पैरामीटर अनुमान मिल सकते हैं जो परिमाण में बहुत बड़े हैं।

इसके विपरीत, इस बात को उठाकर कि रिज प्रतिगमन कम हो जाता है ( दंड को जोड़कर ) जब पैरामीटर 0 से दूर होते हैं, तो स्थितियों में छोटे परिवर्तन (जैसे थोड़ी गोलाई या ट्रंकेशन त्रुटि) परिणाम में विशाल परिवर्तन नहीं कर सकते हैं अनुमान। दंड अवधि 0 की ओर सिकुड़ती है (कुछ पूर्वाग्रह के परिणामस्वरूप)। पूर्वाग्रह की एक छोटी राशि विचरण (उस रिज को समाप्त करके) में पर्याप्त सुधार खरीद सकती है।$L_2$

अनुमानों की अनिश्चितता कम हो जाती है (मानक त्रुटियां दूसरी व्युत्पन्न से संबंधित होती हैं, जो दंड से बड़ी हो जाती है)।

पैरामीटर अनुमानों में सहसंबंध कम हो जाता है। अब आपको पैरामीटर अनुमान नहीं मिलेंगे जो कि परिमाण में बहुत बड़े हैं यदि छोटे मापदंडों के लिए RSS बहुत अधिक खराब नहीं होगा।

Comments

यह जवाब वास्तव में मुझे संकोचन और संख्यात्मक स्थिरता को समझने में मदद करता है। हालाँकि, मैं अभी भी इस बारे में स्पष्ट नहीं हूँ कि " एक छोटे से स्थिरांक को कैसे जोड़ना " इन ​​दो चीजों को प्राप्त करता है। $X'X$

— हाइजेनबर्ग

विकर्ण में एक स्थिरांक जोड़ना * आरएसएस के लिए पर केंद्रित एक वृत्ताकार पैराबोलॉइड को जोड़ने के समान है (ऊपर दिखाए गए परिणाम के साथ - यह शून्य से दूर खींचता है - रिज को समाप्त करना)। * (यह जरूरी नहीं है कि यह छोटा हो, यह इस बात पर निर्भर करता है कि आप इसे कैसे देखते हैं और आपने कितना जोड़ा है)$0$$\quad\quad$

— Glen_b

अंग्रेजी भाषा में "रिज" का ग्लेन_ब एनटोनियम जिसे आप ढूंढ रहे हैं (एक घाटी तल के साथ रास्ता / वक्र) थालवेग है । जिसे मैंने अभी दो सप्ताह पहले सीखा था और बस स्वीकार किया था। यह अंग्रेजी शब्द की तरह आवाज भी नहीं करता है! : डी

— एलेक्सिस

@ एलेक्सिस कोई संदेह नहीं है कि एक आसान शब्द होगा, तो उसके लिए धन्यवाद। यह शायद अंग्रेजी नहीं लगता है क्योंकि यह एक जर्मन शब्द है (वास्तव में थाल " निएंडरथल " = "निएंडर घाटी", और वीजी = 'वे') के समान है। [जैसा कि यह था, मैं "रिज" चाहता था क्योंकि मैं यह नहीं सोच सकता था कि इसे क्या कहा जाए, लेकिन क्योंकि लोग इसे रिज कहते हैं कि क्या वे संभावना या आरएसएस को देख रहे हैं, और मैं अपनी इच्छा का पालन कर रहा था सम्मेलन, भले ही यह अजीब लगता है। थालवेग सिर्फ सही शब्द के लिए एक उत्कृष्ट विकल्प होगा, क्या मैं सम्मेलन के अजीब

— थलवे

एक्स पूरी तरह से नहीं मैट्रिक्स के करीब हो जाता है (और इसलिए X'X लगभग विलक्षण हो जाता है) ठीक इसी तरह जब एक संभावना में एक रिज दिखाई देता है। रिज स्तंभों के बीच लगभग रैखिक संबंध का एक सीधा परिणाम है , जो रैखिक रूप से निर्भर s (लगभग) बनाता है । $X$$\beta$

— Glen_b

Answer 2

Glen_b के चित्रण पर +1 और कटक अनुमानक पर आँकड़े टिप्पणियाँ। मैं केवल रिज प्रतिगमन पर एक विशुद्ध रूप से गणितीय (रैखिक बीजगणित) पीओवी जोड़ना चाहता हूं, जो ओपीएस सवालों का जवाब देता है 1) और 2)।

पहले ध्यान दें कि एक सममित सकारात्मक अर्धचालक मैट्रिक्स है - बार नमूना सहसंयोजक मैट्रिक्स। इसलिए इसमें ईजन-अपघटन है$X'X$$p \times p$$n$

$$X'X = V D V', \quad D = \begin{bmatrix} d_1 & & \\ & \ddots & \\ & & d_p \end{bmatrix}, d_i \geq 0$$

अब चूंकि मैट्रिक्स व्युत्क्रम eigenvalues ​​के व्युत्क्रम से मेल खाती है, OLS अनुमानक की आवश्यकता होती है (ध्यान दें कि )। जाहिर है कि यह केवल तभी काम करता है जब सभी eigenvalues ​​शून्य, से कड़ाई से अधिक हों । के लिए इस असंभव है; के लिए यह सच सामान्य रूप में है - यह थे हम आमतौर पर के साथ संबंध रहे हैं multicollinearity ।$(X'X)^{-1} = V D^{-1} V'$$V ' = V^{-1}$$d_i > 0$$p \gg n$$n \gg p$

सांख्यिकीविदों के रूप में हम यह भी जानना चाहते हैं कि डेटा में छोटे-छोटे गड़बड़ी अनुमानों को कैसे बदलते हैं। यह स्पष्ट है कि किसी भी में एक छोटा परिवर्तन में भारी भिन्नता की ओर जाता है यदि बहुत छोटा है।$X$$d_i$$1 / d_i$$d_i$

तो रिज प्रतिगमन क्या करता है सभी eigenvalues ​​आगे शून्य से दूर है

$$X'X + \lambda I_p = V D V' + \lambda I_p = V D V' + \lambda V V' = V (D + \lambda I_p) V',$$ जिसके अब । यही कारण है कि एक सकारात्मक दंड पैरामीटर चुनने से मैट्रिक्स उलटा हो जाता है - यहां तक ​​कि मामले में भी। रिज रिग्रेशन के लिए डेटा में एक छोटे से बदलाव का मैट्रिक्स उलटा पर अब बहुत अस्थिर प्रभाव नहीं होता है।$d_i + \lambda \geq \lambda \geq 0$$p \gg n$$X$

संख्यात्मक स्थिरता शून्य से सिकुड़न से संबंधित है क्योंकि वे दोनों एक स्वदेशी स्थिरांक को जोड़ने के परिणामस्वरूप हैं: यह इसे और अधिक स्थिर बनाता है क्योंकि में एक छोटा गड़बड़ी व्युत्क्रम को बहुत अधिक नहीं बदलता है; यह इसे करीब सिकुड़ता है क्योंकि अब शब्द से गुणा किया जाता है जो कि उलटा eigenvalues साथ OLS समाधान से शून्य के करीब है ।$X$$0$$V^{-1} X'y$$1 / (d_i + \lambda)$$1 / d$

Comments

यह संतोषजनक रूप से मेरे प्रश्न के बीजगणितीय भाग का उत्तर देता है! Glen_b उत्तर के साथ मिलकर यह मुद्दे की पूरी व्याख्या करता है।

— हाइजेनबर्ग

Answer 3

@ Glen_b का प्रदर्शन अद्भुत है। मैं सिर्फ इतना ही जोड़ूंगा कि समस्या के सटीक कारण और विवरण के बारे में कि कैसे द्विघात दंडित प्रतिगमन काम करता है, नीचे की रेखा है कि दंड में शून्य के प्रति अवरोधन के अलावा गुणांक को सिकोड़ने का शुद्ध प्रभाव होता है। यह ओवरफ़िटिंग की समस्या का एक सीधा समाधान प्रदान करता है जो कि अधिकांश प्रतिगमन विश्लेषणों में निहित है जब नमूना आकार मापदंडों के अनुमान की संख्या के संबंध में भारी नहीं होता है। नॉन-इंटरसेप्ट्स के लिए शून्य की ओर लगभग कोई भी दंड एक गैर-दंडित मॉडल पर भविष्यवाणी की सटीकता में सुधार करने जा रहा है।