गुणांक पथ - रिज, लासो और लोचदार शुद्ध प्रतिगमन की तुलना

Question

मैं रिज, लैस्सो और इलास्टिक नेट के साथ चुने गए मॉडलों की तुलना करना चाहूंगा। अंजीर। नीचे सभी 3 विधियों का उपयोग करते हुए गुणांक पथ दिखाता है: रिज (अंजीर ए, अल्फा = 0), लैस्स (अंजीर बी; अल्फा = 1) और लोचदार जाल (छवि सी; अल्फा = 0.5)। इष्टतम समाधान लैम्ब्डा के चयनित मूल्य पर निर्भर करता है, जिसे क्रॉस सत्यापन के आधार पर चुना जाता है।

जब मैं इन भूखंडों को देख रहा हूं, तो मैं उम्मीद करूंगा कि लोचदार जाल (चित्र C) एक समूहीकरण प्रभाव प्रदर्शित करेगा। हालांकि यह प्रस्तुत मामले में स्पष्ट नहीं है। लसो और लोचदार जाल के लिए गुणांक पथ बहुत समान हैं। इसका क्या कारण रह सकता है ? क्या यह सिर्फ एक कोडिंग गलती है? मैंने R में निम्न कोड का उपयोग किया है:

library(glmnet)
X<- as.matrix(mydata[,2:22])
Y<- mydata[,23]
par(mfrow=c(1,3))
ans1<-cv.glmnet(X, Y, alpha=0) # ridge
plot(ans1$glmnet.fit, "lambda", label=FALSE)
text (6, 0.4, "A", cex=1.8, font=1)
ans2<-cv.glmnet(X, Y, alpha=1) # lasso
plot(ans2$glmnet.fit, "lambda", label=FALSE)
text (-0.8, 0.48, "B", cex=1.8, font=1)
ans3<-cv.glmnet(X, Y, alpha=0.5) # elastic net 
plot(ans3$glmnet.fit, "lambda", label=FALSE)
text (0, 0.62, "C", cex=1.8, font=1)

लोचदार नेट गुणांक पथों को प्लॉट करने के लिए उपयोग किया जाने वाला कोड रिज और लास्सो के लिए बिल्कुल समान है। केवल अंतर अल्फा के मूल्य में है। लोचदार नेट प्रतिगमन के लिए अल्फा पैरामीटर इसी लैम्ब्डा मूल्यों के लिए न्यूनतम एमएसई (मतलब चुकता त्रुटि) के आधार पर चुना गया था।

आपके सहयोग के लिए धन्यवाद !

Answer 1

$p < n$$p$$n$

यदि मूल विशेषताएं बहुत सहसंबद्ध नहीं हैं, तो मैं कहूंगा कि यह वाजिब है कि लासेओ गुणांक पथ के संदर्भ में इलास्टिक नेट के समान प्रदर्शन करता है। Glmnet पैकेज के लिए दस्तावेज़ीकरण को देखते हुए , मैं आपके कोड में कोई त्रुटि भी नहीं देख सकता।

Comments

आपकी टिप्पणी के लिए बहुत बहुत धन्यवाद। मैंने सबसे अच्छे मॉडल का चयन करने के लिए नियमितीकरण दृष्टिकोण के बारे में सोचना शुरू कर दिया, क्योंकि मैंने अपने चर (VIF >> 10) के बीच एक गंभीर बहुसंस्कृति देखी है। उनमें से कई को> 0.8.Thus के स्तर पर सहसंबद्ध किया गया था। मुझे उम्मीद थी कि लोचदार नेट अलग-अलग लसो के लिए प्रदर्शन करेगा और एक समूहीकरण प्रभाव (सहसंबद्ध चर के मामले में) दिखाएगा।

— शुरुआत

आपको बस एक मजबूत रिज दंड का उपयोग करना पड़ सकता है?

— डीसी

क्या आपने df समायोजित बहुसंस्कृति की जाँच की? कारक चर सामान्य रूप से बहुरंगी हैं क्योंकि वे परस्पर अनन्य हैं। मुझे नहीं पता कि इस तरह की बहुसंस्कृति लताओ के साथ समस्या देती है या नहीं।

— बकाबुर्ग