रिज, लासो और इलास्टिक नेट

Question

रिज, LASSO और इलास्टिक नियमितिकरण विधियों की तुलना कैसे करते हैं? उनके संबंधित फायदे और नुकसान क्या हैं? किसी भी अच्छे तकनीकी पेपर, या लेक्चर नोट्स की सराहना की जाएगी।

Answer 1

में सांख्यिकीय लर्निंग के तत्वों किताब, Hastie एट अल। इन संकोचन तकनीकों की एक बहुत ही व्यावहारिक और पूरी तरह से तुलना प्रदान करते हैं। पुस्तक ऑनलाइन ( पीडीएफ) उपलब्ध है ) । तुलना अनुभाग 3.4.3, पृष्ठ 69 में की गई है।

लासो और रिज के बीच मुख्य अंतर जुर्माना शब्द है जो वे उपयोग करते हैं। रिज दंड शब्द का उपयोग करता है जो गुणांक वेक्टर के आकार को सीमित करता है। लास्सो एल 1 दंड का उपयोग करता है जो गुणांक के बीच स्पार्सिटी लगाता है और इस प्रकार, फिट किए गए मॉडल को अधिक व्याख्यात्मक बनाता है। इलास्टिकनेट को इन दोनों तकनीकों के बीच एक समझौते के रूप में पेश किया गया है, और इसमें एक दंड है जो एल 1 और एल 2 मानदंडों का मिश्रण है ।$L_2$$L_1$$L_1$$L_2$

Comments

यह एक अद्भुत संदर्भ पुस्तक है।

— bdeonovic

इसलिए भी कि लेखक इन तकनीकों के आविष्कारक हैं!

— बकाबुर्ग

इस सुंदर पुस्तक का संदर्भ देने के लिए आपका धन्यवाद

— क्रिस्टीना

मैं अत्यधिक धारा 18.4 के साथ-साथ पेज 661-668 की भी सिफारिश करता हूं। लसो बनाम इलास्टिक नेट पर अधिक जानकारी प्रदान करता है।

— कात्या हैंडलर

पुस्तक का लिंक 14 अक्टूबर 2016 तक मृत है

— ऐश

Answer 2

संक्षेप में, यहाँ लास्सो, रिज और इलास्टिक-नेट के बीच कुछ मुख्य अंतर हैं:

1. लासो एक विरल चयन करता है , जबकि रिज नहीं करता है।
2. जब आपके पास अत्यधिक सहसंबद्ध चर होते हैं , तो रिज रिज्रेशन दो गुणांक को एक दूसरे की ओर सिकोड़ता है। लास्सो कुछ उदासीन है और आम तौर पर एक दूसरे पर चुनता है। संदर्भ के आधार पर, कोई यह नहीं जानता कि कौन सा चर उठाया जाता है। इलास्टिक-नेट दोनों के बीच एक समझौता है जो एक साथ एक विरल चयन को सिकोड़ने और करने का प्रयास करता है।
3. $\lambda$$\lambda$
4. $\beta$

Comments

@ आपके द्वारा बनाए गए दूसरे बिंदु के लिए बालाक, इसका क्या अर्थ है 'जो नहीं जानता कि कौन सा चर उठाया जाता है'? क्या आपका मतलब है कि LASSO उदासीन है, इसलिए यह बेतरतीब ढंग से एक उठाता है तो हम वास्तव में नहीं जानते कि कौन सा सबसे अच्छा है?

— meTchaikovsky

Answer 3

मैंने आपको सांख्यिकीय शिक्षण पुस्तक (तिब्शीरानी एट अल।, 2013) के परिचय पर एक नज़र डालने की अत्यधिक सलाह दी ।

इसका कारण यह है कि सांख्यिकीय शिक्षण पुस्तक के तत्व गणितीय विज्ञान में उन्नत प्रशिक्षण वाले व्यक्तियों के लिए अभिप्रेत है। ISL के अग्रदूत में, लेखक लिखते हैं:

सांख्यिकीय सीखने का एक परिचय इन विषयों की व्यापक और कम तकनीकी उपचार की आवश्यकता से उत्पन्न हुआ। [...]

सांख्यिकीय अधिगम का परिचय आँकड़ों या संबंधित मात्रात्मक क्षेत्रों में या अन्य विषयों में उन व्यक्तियों के लिए जो उनके डेटा का विश्लेषण करने के लिए सांख्यिकीय शिक्षण साधनों का उपयोग करना चाहते हैं, के लिए उन्नत स्नातक या स्नातकोत्तर के छात्रों के लिए उपयुक्त है।

Comments

क्या आप इस बारे में विस्तार से बता सकते हैं कि आपको यह संदर्भ उपयोगी क्यों लगा?

— JM एक सांख्यिकीविद

पुस्तक को उद्धृत करना ठीक है, लेकिन कृपया इसे उद्धरण के रूप में चिह्नित करें और अपने पाठ के रूप में नहीं। अन्यथा यह साहित्यिक चोरी है। मैंने इसे अभी आपके लिए संपादित किया है।

— अमीबा का कहना है कि

Answer 4

उपरोक्त उत्तर बहुत स्पष्ट और जानकारीपूर्ण हैं। मैं सांख्यिकीय दृष्टिकोण से एक मामूली बात जोड़ना चाहूंगा। उदाहरण के तौर पर रिज रिग्रेशन को लें। यह कई सहसंबद्ध विशेषताओं के होने पर बहुसंस्कृति समस्याओं को हल करने के लिए कम से कम वर्ग प्रतिगमन का एक विस्तार है। यदि रैखिक प्रतिगमन है

Y=Xb+e

कई रैखिक प्रतिगमन के लिए सामान्य समीकरण समाधान

b=inv(X.T*X)*X.T*Y

रिज प्रतिगमन के लिए सामान्य समीकरण समाधान है

b=inv(X.T*X+k*I)*X.T*Y. 

यह b के लिए एक पक्षपाती अनुमानक है और हम हमेशा एक दंड शब्द k पा सकते हैं जो कि RSS प्रतिगमन की औसत वर्ग त्रुटि को OLS प्रतिगमन की तुलना में छोटा कर देगा।

LASSO और इलास्टिक-नेट के लिए, हम इस तरह के एक विश्लेषणात्मक समाधान नहीं खोज सके।