मल्टीकोलिनरिटी की उपस्थिति में रिज रिग्रेशन अच्छा क्यों काम करता है?

Question

मैं रिज प्रतिगमन के बारे में सीख रहा हूं और जानता हूं कि रिज प्रतिगमन मल्टीकोलिनरिटी की उपस्थिति में बेहतर काम करता है। मैं सोच रहा हूं कि यह सच क्यों है? या तो एक सहज जवाब या एक गणितीय एक संतोषजनक होगा (दोनों प्रकार के उत्तर भी अधिक संतोषजनक होंगे)।

इसके अलावा, मुझे पता है कि को हमेशा प्राप्त किया जा सकता है, लेकिन सटीक संपुटितता की उपस्थिति में रिज रिग्रेशन कितनी अच्छी तरह काम करता है (एक स्वतंत्र चर दूसरे का रैखिक कार्य है)?$\hat{\beta}$

Comments

अपने दूसरे प्रश्न के बारे में: यदि आपके पास सटीक कॉलिनरिटी है, तो आप केवल एक चर को हटा सकते हैं। आप रिज प्रतिगमन की जरूरत नहीं है।

— पीटर फ्लॉम - मोनिका

Answer 1

2 भविष्यवक्ता चर के साधारण मामले पर विचार करें ( , )। यदि दोनों भविष्यवक्ताओं में कोई कम या अधिक कॉलिनियरिटी और अच्छा प्रसार नहीं है, तो हम डेटा ( लिए एक विमान फिट कर रहे हैंx 2$x_1$$x_2$$y$3 आयाम है) और अक्सर एक बहुत स्पष्ट "सर्वश्रेष्ठ" विमान है। लेकिन कॉलिनियरिटी के साथ संबंध वास्तव में 3 आयामी स्थान के माध्यम से एक रेखा है जिसके चारों ओर डेटा बिखरे हुए हैं। लेकिन प्रतिगमन दिनचर्या एक विमान को एक पंक्ति में फिट करने की कोशिश करती है, इसलिए अनंत संख्या में विमान हैं जो पूरी तरह से उस रेखा के साथ प्रतिच्छेद करते हैं, जिसे विमान चुना जाता है जो डेटा में प्रभावशाली बिंदुओं पर निर्भर करता है, उन बिंदुओं में से एक को थोड़ा बदल दें और "सबसे अच्छा" फिटिंग विमान काफी बदल जाता है। रिज रिग्रेशन क्या करता है चुने हुए विमान को सरल / सैनर मॉडल (0 के प्रति पूर्वाग्रह मान) की ओर खींचना है। मूल (0,0,0) प्लेन से रबर बैंड के बारे में सोचें जो विमान को 0 की ओर खींचता है जबकि डेटा इसे एक अच्छे समझौते के लिए दूर ले जाएगा।

Comments

@Trynna, देखते हैं चित्रों को दर्शाता हुआ क्या ग्रेग समरैखिकता समस्या के बारे में कहा।

— ttnphns

यह एक बहुत अच्छा ज्यामितीय स्पष्टीकरण है कि ओएलएस प्रतिगमन में बहुसंस्कृति एक मुद्दा क्यों है! लेकिन मुझे अभी भी यह समझ में नहीं आया है कि प्लेन को मूल से खींचने के कारण समस्या ठीक हो जाती है।

— कोशिशनादोस्त

@TrynnaDoStat, मुख्य चिंता अनुमानों की परिवर्तनशीलता है, जिसमें मल्टीकोलिनरिटी के साथ, एकल डेटा बिंदु में एक छोटा परिवर्तन गुणांक अनुमानों (पूर्वाग्रह के बिना) को बेतहाशा स्विंग कर सकता है। 0 की ओर पूर्वाग्रह करने से गुणांक के अनुमानों में बहुत अधिक परिवर्तन नहीं होता है (क्योंकि रबर बैंड एकल डेटा बिंदु में मामूली परिवर्तन के साथ परिवर्तनशीलता को कम करते हुए उन्हें 0 की ओर खींच रहा है)।

— ग्रेग स्नो

तस्वीरों के लिंक के लिए धन्यवाद @ttnphns: इसके बिना यह उत्तर पाने के लिए बहुत खिंचाव था। अब ग्रेग का उत्तर स्पष्ट है और मुझे इस पंक्ति को ईएसएलआईआई (2 वें संस्करण) में समझने की आवश्यकता है: "एक चर पर बेतहाशा बड़े सकारात्मक गुणांक को इसके सहसंबद्ध चचेरे भाई पर एक समान बड़े नकारात्मक गुणांक द्वारा रद्द किया जा सकता है। एक आकार बाधा पर लगाकर। गुणांक इस समस्या को कम किया जाता है। "

— टॉमसो गुरेरिनी