मुझे लसो बनाम रिज का उपयोग कब करना चाहिए?

Question

मान लीजिए कि मैं बड़ी संख्या में मापदंडों का अनुमान लगाना चाहता हूं, और मैं उनमें से कुछ को दंडित करना चाहता हूं क्योंकि मेरा मानना ​​है कि उनका दूसरों की तुलना में बहुत कम प्रभाव होना चाहिए। मैं कैसे तय करूं कि किस दंड योजना का उपयोग करना है? रिज रिग्रेशन कब अधिक उचित है? मुझे लैस्सो का उपयोग कब करना चाहिए?

Comments

"कहो कि मैं बड़ी संख्या में मापदंडों का अनुमान लगाना चाहता हूं" इसे और अधिक सटीक बनाया जा सकता है: फ्रेमवर्क क्या है? मुझे लगता है कि यह रैखिक प्रतिगमन है?

— रॉबिन जिरार्ड

इसी तरह का एक सवाल सिर्फ मेटाटॉम्पाइज़ (l1 = LASSO और l2 = रिज को ध्यान में रखते हुए) पर पूछा गया है: metaoptimize.com/qa/questions/5205/…

— Gael Varoquaux

आप "लसो बनाम रिज" कहते हैं जैसे कि वे केवल दो विकल्प हैं - सामान्यीकृत डबल पारेतो, घोड़े की नाल, बामा, पुल, दूसरों के बीच में क्या?

— probabilityislogic

Answer 1

ध्यान रखें कि रिज प्रतिगमन गुणांक को शून्य नहीं कर सकता है; इस प्रकार, आप या तो मॉडल में सभी गुणांक सहित समाप्त करते हैं, या उनमें से कोई भी नहीं। इसके विपरीत, LASSO दोनों पैरामीटर संकोचन और चर चयन स्वचालित रूप से करता है। यदि आपके कुछ सहसंयोजक अत्यधिक सहसंबद्ध हैं, तो आप LASSO के बजाय लोचदार नेट [3] को देखना चाह सकते हैं।

मैं व्यक्तिगत रूप से गैर-नकारात्मक गारट (NNG) [1] का उपयोग करने की सलाह दूंगा क्योंकि यह अनुमान और चर चयन [2] के अनुरूप है। LASSO और रिज रिग्रेशन के विपरीत, NNG को एक प्रारंभिक अनुमान की आवश्यकता होती है जो तब मूल की ओर सिकुड़ जाता है। मूल पत्र में, ब्रीमन प्रारंभिक अनुमान के लिए कम से कम-वर्ग समाधान की सिफारिश करता है (आप रिज रिग्रेशन समाधान से खोज शुरू करना चाहते हैं और पेनल्टी पैरामीटर का चयन करने के लिए GCV जैसी किसी चीज़ का उपयोग कर सकते हैं)।

उपलब्ध सॉफ़्टवेयर के संदर्भ में, मैंने MATLAB में मूल NNG को लागू किया है (ब्रेमेन के मूल फोरट्रान कोड के आधार पर)। आप इसे यहाँ से डाउनलोड कर सकते हैं:

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

BTW, यदि आप एक बायेसियन समाधान पसंद करते हैं, तो [4,5] देखें।

संदर्भ:

[१] ब्रेमेन, एल। बेहतर नॉनवेजेटिव गैरोटोट टेक्नोमेट्रिक्स का उपयोग करके बेहतर सबसेट रिग्रेशन, १ ९९ ५, ३,, ३ ]३-३ ,४

[२] युआन, एम। एंड लिन, वाई। नॉन-नेगेटिव ग्रासरूट असेसमेंट जर्नल ऑफ़ द रॉयल स्टैटिस्टिकल सोसाइटी (सीरीज़ बी), २०० Series, ६ ९, १४३-१६१

[३] Zou, H. & Hastie, T. नियमितीकरण और परिवर्तनशील चयन के माध्यम से रॉयल नेटिव सोसाइटी के लोचदार नेट जर्नल (सीरीज B), २००५, ६ 67, ३ ,०-३२०

[४] पार्क, टी। एंड कैसेला, जी। द बायेसियन लैस्सो जर्नल ऑफ द अमेरिकन स्टेटिस्टिकल एसोसिएशन, २०० 2008, १०३, ६6१-६६ 6६

[५] क्यूंग, एम।; गिल, जे।; घोष, एम। और कैसेला, जी। दंडित प्रतिगमन, मानक त्रुटियां, और बायेसियन लासोस बायेसियन विश्लेषण, 2010, 5, 369-412

Comments

क्या आप रिज बनाम लासो पर अधिक विशिष्ट हो सकते हैं? क्या स्वचालित चर चयन लसो को पसंद करने का एकमात्र कारण है?

— चोगेग

Answer 2

रिज या लैसो नियमित रूप से रेखीय रजिस्टरों के रूप हैं। नियमितीकरण की व्याख्या एक पूर्व पोस्टीरियर आकलन पद्धति में पहले से की जा सकती है। इस व्याख्या के तहत, रिज और लैसो रैखिक परिवर्तन के वर्ग पर अलग-अलग धारणाएं बनाते हैं जो वे इनपुट और आउटपुट डेटा से संबंधित हैं। रिज में, रैखिक परिवर्तन के गुणांक सामान्य वितरित किए जाते हैं और लसो में वे लाप्लास वितरित होते हैं। लसो में, यह गुणांक के लिए शून्य होना आसान बनाता है और इसलिए आउटपुट में योगदान नहीं करने के रूप में आपके कुछ इनपुट चर को समाप्त करना आसान होता है।

कुछ व्यावहारिक विचार भी हैं। रिज को लागू करना और गणना करने में तेज़ होना थोड़ा आसान है, जो आपके पास मौजूद डेटा के प्रकार पर निर्भर करता है।

यदि आपने दोनों को लागू किया है, तो रिज और लैस्सो को खोजने के लिए अपने डेटा के सबसेट का उपयोग करें और तुलना करें कि वे बाएं डेटा पर कितनी अच्छी तरह काम करते हैं। त्रुटियों को आपको एक विचार देना चाहिए कि किसका उपयोग करना है।

Comments

मुझे यह नहीं मिलता - अगर आपके गुणांक लैप्लस या सामान्य वितरित हैं तो आपको कैसे पता चलेगा?

— इदानी

गणना करने के लिए रिज प्रतिगमन क्यों तेज है?

— आर्ची

@ हबर: "नियमितीकरण की व्याख्या एक पूर्ववर्ती अनुमान पद्धति में अधिकतम के रूप में की जा सकती है।": क्या आप कृपया इस हिस्से को गणितीय प्रतीकों के साथ अधिक विस्तार से बता सकते हैं, या कम से कम एक संदर्भ दे सकते हैं? धन्यवाद!

— मथ्मथ

@ihadanny आप शायद नहीं जानते होंगे, और यही बात है। आप केवल यह तय कर सकते हैं कि कौन सा एक पोस्टीरियर रखना है ।

— Firebug

Answer 3

आम तौर पर, जब आपके पास कई छोटे / मध्यम आकार के प्रभाव होते हैं, तो आपको रिज के साथ जाना चाहिए। यदि आपके पास मध्यम / बड़े प्रभाव के साथ केवल कुछ चर हैं, तो लासो के साथ जाएं। हस्ती, टिबशिरानी, ​​फ्रीडमैन

Comments

लेकिन जब आपके पास कुछ चर होते हैं, तो आप उन सभी को अपने मॉडल में रखना चाह सकते हैं यदि वे मध्यम / बड़े प्रभाव रखते हैं, जो कि लासो में मामला नहीं होगा क्योंकि यह उनमें से एक को हटा सकता है। क्या आप इसे विस्तार से बता सकते हैं? मुझे लगता है कि जब आपके पास कई चर होते हैं तो हम अनावश्यक चरों को हटाने के लिए लसो का उपयोग करते हैं न कि रिज का।

— आदित्य भंडारी