प्रतिगमन विश्लेषण में लैसो क्या है?


81

मैं लासो की एक गैर-तकनीकी परिभाषा की तलाश कर रहा हूं और इसके लिए इसका उपयोग किया जाता है।


रॉबर्ट टिब्शिरानी (मूल लैस्सो पेपर के लेखक) पेज से: लैस्सो और लिस्ट एंगल रिग्रेशन का एक सरल विवरण

जवाबों:


112

LASSO (कम से कम निरपेक्ष संकोचन और चयन ऑपरेटर) एक प्रतिगमन विधि है जिसमें प्रतिगमन गुणांक के पूर्ण आकार को दंडित करना शामिल है।

दंडित करने से (या अनुमानों के पूर्ण मूल्यों के योग को अनिवार्य रूप से बाधित करके) आप ऐसी स्थिति में समाप्त हो जाते हैं जहां कुछ पैरामीटर अनुमान बिल्कुल शून्य हो सकते हैं। जितना बड़ा जुर्माना लगाया जाएगा, आगे के अनुमान शून्य की ओर सिकुड़ जाएंगे।

यह सुविधाजनक है जब हम कुछ स्वचालित सुविधा / परिवर्तनशील चयन चाहते हैं, या अत्यधिक सहसंबद्ध भविष्यवक्ताओं के साथ व्यवहार करते हैं, जहां मानक प्रतिगमन में आमतौर पर प्रतिगमन गुणांक होते हैं जो 'बहुत बड़े' होते हैं।

https://web.stanford.edu/~hastie/ElemStatLearn/ (फ्री डाउनलोड) में LASSO और संबंधित विधियों का अच्छा वर्णन है।


मैं साइट के लिए नया हूँ; यह ठीक वही जानकारी है जिसकी मुझे तलाश थी; बहुत धन्यवाद।
पॉल वोग्ट

क्या दोहरी समस्या का उपयोग करके इसे हल करने के बारे में एक पीडीएफ है?
रॉय

लिंक टूटा है
ओलिवर एंजेल

3

LASSO प्रतिगमन एक प्रकार का प्रतिगमन विश्लेषण है जिसमें चर चयन और विनियमन दोनों एक साथ होते हैं। यह विधि एक दंड का उपयोग करती है जो प्रतिगमन के गुणांक के मूल्य को प्रभावित करती है। जैसे ही जुर्माना बढ़ता है अधिक गुणांक शून्य हो जाते हैं और इसके विपरीत वर्सा मिलता है। यह एल 1 सामान्यीकरण तकनीक का उपयोग करता है जिसमें ट्यूनिंग पैरामीटर का उपयोग संकोचन की मात्रा के रूप में किया जाता है। जैसे-जैसे ट्यूनिंग पैरामीटर बढ़ता है तब पूर्वाग्रह बढ़ता है और जैसे-जैसे घटता है, तब विचरण बढ़ता है। यदि यह स्थिर है तो कोई गुणांक शून्य नहीं है और जैसा कि अनंत के लिए है, तो सभी गुणांक शून्य हो जाएंगे।


2

"सामान्य" प्रतिगमन (ओएलएस) में लक्ष्य को गुणांक का अनुमान लगाने के लिए वर्गों (आरएसएस) के अवशिष्ट योग को कम करना है।

argminβRpi=1n(Yij=1pXijβj)2

LASSO प्रतिगमन के मामले में आप कुछ अलग दृष्टिकोण के साथ गुणांक का अनुमान लगाते हैं:

argminβRpi=1n(Yij=1pXijβj)2+λj=1p|βj|

λλ

λ=0argminλ=1λअधिक जुर्माना गुणांक पर लागू होता है और छोटा गुणांक होगा, कुछ शून्य हो सकता है। इसका मतलब है कि LASSO का चयन चयन करके पार्सिमोनियस मॉडल में किया जा सकता है और यह मॉडल को ओवरफिटिंग से बचाता है। उस ने कहा, आप LASSO का उपयोग कर सकते हैं यदि आपके पास कई विशेषताएं हैं और आपका लक्ष्य आपके मॉडल के गुणांकों की व्याख्या करने के बजाय डेटा की भविष्यवाणी करना है।


1
आपके उत्तर के लिए धन्यवाद (+1)। यह साइट का समर्थन करती हैTEXTEX

@ समय: इसके लिए बहुत-बहुत धन्यवाद! यह कैसे किया जाता है यह देखने के लिए संपादन पर क्लिक करने के लिए एक शानदार टिप था।
बोल्डर
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.