दंडित रैखिक प्रतिगमन की ज्यामितीय व्याख्या

Question

मुझे पता है कि रैखिक प्रतिगमन को "सभी बिंदुओं के लंबवत रूप से निकटतम रेखा" के रूप में सोचा जा सकता है :

लेकिन कॉलम स्पेस की कल्पना करके, इसे देखने का एक और तरीका है, "गुणांक मैट्रिक्स के कॉलम द्वारा स्पेस किए गए स्पेस पर प्रोजेक्शन" :

मेरा सवाल यह है: इन दो व्याख्याओं में, रिज रिग्रेशन और LASSO जैसे दंडित रैखिक प्रतिगमन का उपयोग करने पर क्या होता है ? पहली व्याख्या में रेखा के साथ क्या होता है? और दूसरी व्याख्या में प्रक्षेपण के साथ क्या होता है?

अद्यतन करें: @JohnSmith टिप्पणी में तथ्य यह है कि जुर्माना गुणांक के अंतरिक्ष में होता है लाया। क्या इस स्पेस में भी कोई व्याख्या है?

Comments

मुझे यकीन नहीं है कि इस तरह की व्याख्या के साथ आना संभव है। केवल इसलिए कि आपने जो प्रदान किया है वह सुविधाओं और प्रतिक्रियाओं के मूल स्थान में छवियां हैं। और दंडित प्रतिगमन में गुणांक का स्थान शामिल है, जो बहुत अलग है।

— दिमित्री लाप्टेव

"सभी बिंदुओं के लिए लंबवत रेखा निकटतम"? आमतौर पर एक वर्ग का योग लेता है - विकिपीडिया गुणांक_ऑफ़सेट पर अच्छी तस्वीर देखें । ऊर्ध्वाधर दूरी का योग L1 मानदंड है, जो आउटलेर्स के लिए कम संवेदनशील है लेकिन बहुत कम आम है।

— डेनिस

Answer 1

मेरे पेंटिंग कौशल के लिए क्षमा करें, मैं आपको निम्नलिखित अंतर्ज्ञान देने की कोशिश करूंगा।

$f(\beta)$$\beta$$\beta_1$$\beta_2$

लाल घेरे के बीच में, इस फ़ंक्शन का एक न्यूनतम है। और यह न्यूनतम हमें गैर-दंडित समाधान देता है।

$g(\beta)$$g(\beta) = \lambda (|\beta_1| + |\beta_2|)$$g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$$\lambda$$\lambda$$g(x)$

$f(\beta) + g(\beta)$

बड़ा जुर्माना, "अधिक संकीर्ण" नीली आकृति हमें मिलती है, और फिर भूखंड एक दूसरे से शून्य के करीब बिंदु में मिलते हैं। एक Vise-versa: छोटा दंड, आकृति विस्तृत होती है, और नीले और लाल भूखंडों का प्रतिच्छेदन लाल वृत्त (गैर-दंडित समाधान) के केंद्र के करीब आता है।

$\beta_1 = 0$$\beta_2 = 0$

$0$

आशा है कि मापदंडों के स्थान पर दंडित प्रतिगमन कैसे काम करता है, इसके बारे में कुछ अंतर्ज्ञान की व्याख्या करेगा।

Comments

मुझे लगता है कि जैसा आपने किया है, शास्त्रीय चित्र से शुरू करना एक अच्छी शुरुआत है। करने के लिए वास्तव में इस बात को समझ, मुझे लगता है कि यह वर्णन करने के लिए कैसे आकृति समस्या से संबंधित उपयोगी होगा। विशेष रूप से, हम दोनों मामलों में जानते हैं, कि हम जितना छोटा अपना दंड बनाते हैं, हम OLS समाधान के करीब होंगे, और जितना बड़ा होगा, एक शुद्ध-अवरोधन मॉडल के करीब हम प्राप्त करेंगे। एक प्रश्न पूछना है: यह आपके आंकड़े में कैसे प्रकट होता है?

— कार्डिनल

वैसे, आपकी पेंटिंग स्किल ठीक लगती है।

— कार्डिनल

आपके कमेंट के लिए धन्यवाद! यहां सब कुछ सहज रूप से सरल है: बड़ा जुर्माना, "अधिक संकीर्ण" नीली आकृति जो हमें मिलती है (और फिर बिंदु दो भूखंड मिलते हैं शून्य के करीब)। एक छंद-छंद: छोटा दंड: लाल वृत्त के केंद्र के करीब, भूखंड मिलेंगे (OLS)।

— दिमित्री लापेतव

$g(x)$$\lambda$

स्पष्ट चित्रण के लिए धन्यवाद। मैंने अन्यत्र पढ़ा है कि उद्देश्यों का न्यूनतम योग होता है जहाँ वे एक-दूसरे से स्पर्श करते हैं। मुझे लगता है कि अगर एफ (\ बीटा) '= -ग (\ बीटा)' का मतलब है कि योग का व्युत्पन्न शून्य है जो एक चरम सीमा के लिए एक आवश्यकता है। क्या इसका मतलब यहाँ है "जब दो समोच्च भूखंड एक दूसरे से मिलते हैं"?

— ओडबेड

Answer 2

मेरे पास जो अंतर्ज्ञान है वह निम्नलिखित है: कम से कम वर्गों के मामले में, टोपी मैट्रिक्स एक ऑर्थोगोनल प्रक्षेपण है जो इस प्रकार निष्क्रिय है। दंडित मामले में, टोपी मैट्रिक्स अब बेकार नहीं है। दरअसल, इसे कई बार असीम रूप से लागू करने से गुणांक मूल में सिकुड़ जाएगा। दूसरी ओर, गुणांक को अभी भी भविष्यवक्ताओं की अवधि में झूठ बोलना पड़ता है, इसलिए यह अभी भी एक प्रक्षेपण है, यद्यपि ओर्थोगोनल नहीं। दंड कारक का परिमाण और आदर्श का प्रकार उत्पत्ति की ओर संकोचन की दूरी और दिशा को नियंत्रित करता है।

Comments

मैं यह नहीं देख सकता कि यह क्यों नहीं है: यदि मैं अंतरिक्ष में वेक्टर को प्रोजेक्ट करता हूं (भले ही यह ऑर्थोगोनल प्रोजेक्शन नहीं है), और मैंने गुणांक में बाधा डाल दी है, तो इस अनुमानित वेक्टर का एक नया प्रक्षेपण पिछले से अलग क्यों होगा एक?

— लुकास रीस

सहज ज्ञान युक्त: कहते हैं कि आप दूसरी बार वर्गों के दंड योग को कम कर रहे हैं। दूसरे न्यूनतम पर वर्गों का योग पहले न्यूनतम के वर्गों के योग से छोटा है। दंडित गुणांक के मानदंड के सापेक्ष महत्व में वृद्धि होगी, अर्थात, गुणांक को कुछ और सिकोड़ने से अधिक प्राप्त होगा। रिज रिग्रेशन एक अच्छा उदाहरण है जिसमें आपके पास हैट मैट्रिक्स के लिए एक अच्छा बंद फॉर्म है और आप सीधे जाँच सकते हैं कि क्या यह बेकार है।

— जॉनरोस