लार्स बनाम लैस्सो के लिए वंश का समन्वय


13

लार्स का उपयोग करने के पेशेवरों और विपक्ष क्या हैं [1] बनाम एल -1-नियमित रैखिक प्रतिगमन फिटिंग के लिए समन्वित वंश का उपयोग करना?

मुझे मुख्य रूप से प्रदर्शन के पहलुओं में दिलचस्पी है (मेरी समस्याएं Nसैकड़ों और हजारों की संख्या में हैं p। <20) हालांकि, किसी भी अन्य अंतर्दृष्टि की भी सराहना की जाएगी।

संपादित करें: जब से मैंने सवाल पोस्ट किया है, chl ने फ्रीडमैन एट अल द्वारा एक पेपर [2] को इंगित किया है जहां समन्वित वंश को अन्य विधियों की तुलना में काफी तेज दिखाया गया है। यदि ऐसा है, तो क्या मुझे एक अभ्यासी के रूप में समन्वित वंश के पक्ष में केवल लार्स के बारे में भूल जाना चाहिए?

[१] एफ्रॉन, ब्रैडली; हस्ती, ट्रेवर; जॉनस्टोन, इयान और टिबशिरानी, ​​रॉबर्ट (2004)। "कम से कम कोण प्रतिगमन"। आँकड़ों की संख्या 32 (2): पीपी 407–499।
[२] जेरोम एच। फ्रीडमैन, ट्रेवर हस्ती, रॉब तिब्शीरानी, ​​"कोर्डिनेट डिसेंट के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए नियमितीकरण पथ", सांख्यिकीय सॉफ्टवेयर जर्नल, वॉल्यूम। 33, अंक 1, फरवरी 2010।

जवाबों:


13

समन्वित वंश के साथ लैस्को के कार्यान्वयन में लार्स के हमारे क्रियान्वयन की तुलना में तेजी से होने की संभावना है, हालांकि छोटे पी के लिए (जैसे कि आपके मामले में) वे लगभग बराबर हैं (नवीनतम में उपलब्ध अनुकूलन के साथ LARS थोड़ा तेज़ हो सकता है मास्टर रेपो)। इसके अलावा समन्वित वंश लोचदार शुद्ध नियमित समस्याओं के कुशल कार्यान्वयन के लिए अनुमति देता है। यह लार्स के लिए मामला नहीं है (जो केवल लास्सो, उर्फ ​​एल 1 दंडित समस्याओं को हल करता है)।

इलास्टिक नेट दंड लसो (पर्यवेक्षण सुविधा चयन) की अच्छी स्पार्सिटी उत्प्रेरण सुविधाओं को ध्यान में रखते हुए लासो (रिज रिग्रेशन के समाधान के करीब) की तुलना में बेहतर सामान्यीकरण प्राप्त करता है।

बड़े एन (और बड़े पी, विरल या नहीं) के लिए आप एक स्टोकेस्टिक ढाल वंश (एल 1 या लोचदार शुद्ध जुर्माना के साथ) एक कोशिश (स्किट-लर्न में भी लागू) दे सकते हैं।

संपादित करें : यहां कुछ बेंचमार्क हैं जो लैसोएलआरएस की तुलना करते हैं और स्किकिट-लर्न में समन्वित वंश कार्यान्वयन है


(+1) @ogrisel बहुत बहुत धन्यवाद! चूँकि शायद मैं इसे खुद को कोड करने के लिए समाप्त करूँगा (जावा में इसकी आवश्यकता है, और अभी तक किसी भी ओपन-सोर्स जावा कार्यान्वयन को नहीं देखा है), जिस एल्गोरिदम को आप कहेंगे कि इसे लागू करना आसान है?
एनपीई

1
दोनों समन्वित वंश और SGD को लागू करना आसान है (लियोन बोटू के वेबपेज को एक अच्छे इंट्रो के लिए SGD पर जांचें)। LARS शायद सही पाने के लिए मुश्किल है।
ओग्रेसिल

शानदार, धन्यवाद! मैं Léon Bottou की साइट देखूंगा।
एनपीई

@ogrisel (+1) आपको वहां देखकर अच्छा लगा।
chl

2
@aix मैंने अपने उत्तर को scikit-learn में वर्तमान कार्यान्वयन पर कुछ बेंचमार्क जोड़ने के लिए संपादित किया है। अपने स्वयं के समन्वित वंश को लागू करने से पहले कामेच्छा के जावा संस्करण की भी जांच करें क्योंकि यह आपके लिए काफी अच्छा हो सकता है (हालांकि आपके पास एक ही समय में L1 और L2 reg दोनों नहीं हो सकते हैं)।
ओग्रेसियल
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.