LASSO में नियमितीकरण पैरामीटर के लिए सीमा और ग्रिड घनत्व चुनना

मैं इस दौरान LASSO (कम से कम पूर्ण संकोचन और चयन ऑपरेटर) का अध्ययन कर रहा हूं । मैं देख रहा हूं कि नियमितीकरण पैरामीटर के लिए इष्टतम मूल्य को क्रॉस सत्यापन द्वारा चुना जा सकता है। मैं रिज रिग्रेशन और कई तरीकों को भी देखता हूं जो नियमितीकरण को लागू करते हैं, हम इष्टतम नियमितीकरण पैरामीटर (दंड के रूप में) को खोजने के लिए सीवी का उपयोग कर सकते हैं। अब मेरा सवाल पैरामीटर के ऊपरी और निचले बाउंड के लिए प्रारंभिक मानों और अनुक्रम की लंबाई निर्धारित करने के तरीके के बारे में है।

विशिष्ट होने के लिए, मान लें कि हमारे पास एक LASSO समस्या और हम दंड के लिए अधिकतम मान करना चाहते हैं, । फिर हम लिए एक निम्न और ऊपरी सीमा कैसे चुन सकते हैं ? और इन दो मूल्यों बीच कितने विभाजन हैं ?

L o g L i k e l i h o o d = (y - x β)^{'} (y - x β) + λ \sum | β |_{1}

$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$

λ

$\lambda$

λ \in [a = ?, b = ?]

$\lambda \in [a=?,b=?]$

\frac{(b - a)}{k = ?}

$\frac{(b-a)}{k=?}$

lasso regularization shrinkage

— TPArrow
स्रोत

संबंधित प्रश्न यहाँ ।

— रिचर्ड हार्डी

ग्रिड महीनता

— Sycorax का कहना है कि मोनिका

इस कार्यप्रणाली को कॉर्डिनेट डिसेंट के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए glmnet पेपर रेग्युलराइजेशन पाथ्स में वर्णित किया गया है । हालाँकि यहाँ की कार्यप्रणाली और नियमितीकरण के सामान्य मामले के लिए है, इसे LASSO (केवल ) पर भी लागू होना चाहिए । $L^1$ $L^2$ $L^1$

अधिकतम 2.5 का समाधान अनुभाग 2.5 में दिया गया है। $\lambda$

जब , हम देखते हैं (5) that शून्य रहेगा यदि । इसलिए $\tilde\beta = 0$ $\tilde\beta_j$ $\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$ $N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

यही है, हम देखते हैं कि बीटा के लिए अद्यतन नियम सभी पैरामीटर अनुमानों को शून्य के लिए रूप में ऊपर निर्धारित किए गए हैं। $\lambda > \lambda_{max}$

का निर्धारण और ग्रिड बिंदुओं की संख्या कम लगती है। ग्लमैनेट में वे , और फिर लॉगरिदमिक स्केल पर समान रूप से स्पेस किए गए बिंदुओं का ग्रिड चुनते हैं । $\lambda_{min}$ $\lambda_{min} = 0.001 * \lambda_{max}$ $100$

यह व्यवहार में अच्छी तरह से काम करता है, ग्लमैनेट के मेरे व्यापक उपयोग में मैंने इस ग्रिड को कभी भी मोटे नहीं पाया।

LASSO ( ) में केवल मामले ही बेहतर काम करते हैं, क्योंकि LARS पद्धति विभिन्न भविष्यवक्ताओं के मॉडल में प्रवेश करने के लिए एक सटीक गणना प्रदान करती है। एक सच्चा लार्स, कॉम्बिनेशन के लिए सॉल्यूशन पाथ के लिए एक सटीक एक्सप्रेशन तैयार करने के बजाय, पर एक ग्रिड सर्च नहीं करता है । यहाँ दो भविष्यवक्ता मामले में गुणांक पथों की सटीक गणना पर एक विस्तृत नज़र है। $L^1$ $\lambda$

गैर-रैखिक मॉडल (यानी लॉजिस्टिक, पॉइसन) के लिए मामला अधिक कठिन है। उच्च स्तर पर, हानि फ़ंक्शन के लिए पहले एक द्विघात अनुमान प्रारंभिक पैरामीटर पर प्राप्त किया जाता है , और फिर ऊपर की गणना का उपयोग निर्धारित करने के लिए किया जाता है । पैरामीटर पथों की एक सटीक गणना इन मामलों में संभव नहीं है, यहां तक कि जब केवल नियमितीकरण प्रदान किया जाता है, तो एक ग्रिड खोज एकमात्र विकल्प है। $\beta = 0$ $\lambda_{max}$ $L^1$

नमूना वजन भी स्थिति को जटिल करता है, आंतरिक उत्पादों को भारित आंतरिक उत्पादों के साथ उपयुक्त स्थानों पर प्रतिस्थापित किया जाना चाहिए।

— मैथ्यू पारा
स्रोत