लार्स के लिए लस्सो संशोधन

Question

मैं यह समझने की कोशिश कर रहा हूं कि लार्स उत्पन्न करने के लिए लार्स एल्गोरिथ्म को कैसे संशोधित किया जा सकता है। जबकि मैं LARS को समझता हूं, मैं तिब्शीरानी एट अल द्वारा पेपर से लास्सो संशोधन को देखने में सक्षम नहीं हूं। विशेष रूप से मैं यह नहीं देखता कि साइन-इन की स्थिति में गैर-शून्य समन्वय के संकेत को वर्तमान सहसंबंध के संकेत से सहमत क्यों होना चाहिए। क्या कोई भी मेरी इस के साथ मदद कर सकता है। मुझे लगता है कि मैं मूल L-1 मानक समस्या यानी Lasso पर KKT हालत का उपयोग कर एक गणितीय प्रमाण की तलाश कर रहा हूं। बहुत धन्यवाद!

Comments

क्या आप Efron et al's stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf का जिक्र कर रहे हैं ? यह धारा 5 के लेम्मा 8 में यह साबित करता है। या मैं आपके प्रश्न को गलत समझ रहा हूं?

— पीटर एलिस

मैं इस सवाल के बारे में निश्चित नहीं हूं, लेकिन वास्तव में, लासो लार्स का सरलीकरण है: लास्सो के लिए, आप केवल वर्तमान अवशिष्ट और शेष आधार कार्यों के बीच सकारात्मक सहसंबंधों की तलाश कर रहे हैं, क्योंकि केवल सकारात्मक सहसंबंध ही सकारात्मक होते हैं (~ गैर-नकारात्मक) गुणांक।

— श्री व्हाइट

Answer 1

चलो (आकार ) मानकीकृत आदानों, का एक सेट को निरूपित (आकार ) प्रतिक्रियाओं, केंद्रित (आकार ) प्रतिगमन वजन और एक -norm penalisation गुणांक।n × पी वाई एन × 1 β पी × 1 λ > 0 एल $X$$n\times p$$y$$n \times 1$$\beta$$p \times 1$$\lambda > 0$$l_1$

LASSO समस्या तब लिखता है

$$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$$

Lambda के सभी मानों के लिए इसे हल करने से तथाकथित LASSO नियमितीकरण पथ ।$\lambda > 0$$\beta^*(\lambda)$

दंड के गुणांक के एक निश्चित मूल्य के लिए गुणांक (यानी सक्रिय भविष्यवक्ताओं की निश्चित संख्या = LARS एल्गोरिथ्म का निश्चित चरण), यह प्रदर्शित करना संभव है कि संतुष्ट है (केवल KKTParityity इस रूप में लिखें उत्तर )$\lambda^*$$\beta^*$

$$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$$

सक्रिय भविष्यवक्ताओं के सेट का प्रतिनिधित्व करने के साथ ।$A$

क्योंकि सकारात्मक होना चाहिए (यह एक दंड गुणांक है), यह स्पष्ट है कि (किसी भी गैर-शून्य इसलिए सक्रिय भविष्यवक्ता का वजन) का से अधिक होना चाहिए) यानी वर्तमान प्रतिगमन अवशिष्ट के साथ सहसंबंध।$\lambda^*$$\beta_a^*$$X_a^T (y - X\beta^*) = X_{a}^T r$

Answer 2

@ Mr._Wite ने LARS और Lasso के बीच प्रमुख अंतर का एक बड़ा सहज विवरण प्रदान किया; एकमात्र बिंदु जो मैं जोड़ूंगा, वह यह है कि लास्सो (एक प्रकार का) एक पिछड़े चयन दृष्टिकोण की तरह है, प्रत्येक चरण पर एक शब्द को तब तक खटखटाया जाता है जब तक कि उनमें से कौन सा शब्द ("सामान्यीकृत" से अधिक के लिए मौजूद है) सहसंबंध मौजूद हैं। लार्स सब कुछ वहाँ रखता है - मूल रूप से हर संभव क्रम में लसो का प्रदर्शन करता है। इसका मतलब यह है कि लैस्सो में, प्रत्येक पुनरावृत्ति इस पर निर्भर है कि किन शर्तों को पहले ही हटा दिया गया है। $X \times X$

Effron के कार्यान्वयन को दिखाता मतभेद अच्छी तरह से बदलते हैं: में lars.R लार्स के लिए स्रोत pkg । मैट्रिस मैट्रिक्स और लाइन 180 पर शुरू होने का अद्यतन चरण और जो के लिए शब्दों को छोड़ने की । मैं रिक्त स्थान से उत्पन्न होने वाली कुछ अजीब स्थितियों की कल्पना कर सकते जहां मामले असंतुलित कर रहे हैं ( और बहुत सहसंबद्ध होते हैं, लेकिन दूसरों के साथ नहीं साथ लेकिन अन्य लोगों के साथ नहीं, आदि) चयन के क्रम काफी पक्षपातपूर्ण हो सकता है।ζ ζ हूँ मैं n < ζ सी यू आर आर ई एन टी ए एक्स 1 एक्स 2 एक्स 2 एक्स $X \times X$$\zeta$$\zeta_{min} < \zeta_{current}$$A$$x_1$$x_2$$x_2$$x_3$