लसो के बजाय समूह लसो का उपयोग क्यों करें?

13

मैंने पढ़ा है कि समूह lasso का उपयोग चर चयन और चर के समूह में प्रसार के लिए किया जाता है। मैं इस दावे के पीछे के अंतर्ज्ञान को जानना चाहता हूं।

समूह लासो को लासो को क्यों पसंद किया जाता है?
क्यों समूह lasso समाधान पथ टुकड़ा नहीं रैखिक है?

— प्रतिशोध
स्रोत

1

मैं युआन और लिन (2006) से क्या समझता हूं कि लास्सो को व्यक्तिगत चर नहीं कारक चयन के लिए डिज़ाइन किया गया है। तो लसो एनोवा समस्या को संबोधित करता है जहां लक्ष्य सटीक भविष्यवाणी के लिए महत्वपूर्ण मुख्य प्रभावों और इंटरैक्शन का चयन करना है जो चर के समूहों के चयन के लिए राशि है। दूसरा उदाहरण बहुपद के साथ नशे की लत मॉडल का है जहां प्रत्येक घटक को मूल मापा चर के आधार कार्यों के रैखिक संयोजन के रूप में व्यक्त किया जाता है

— वेंडेट्टा

11

सहज रूप से बोलते हुए, समूह lasso को lasso के लिए पसंद किया जा सकता है क्योंकि यह हमारे लिए सही गुणांक लिए हमारे अनुमान में अतिरिक्त जानकारी (एक निश्चित प्रकार) को शामिल करने का साधन प्रदान करता है । एक चरम परिदृश्य के रूप में, निम्नलिखित पर विचार करना: $\beta^*$

साथ , डाल के समर्थन के रूप में । "Oracle" अनुमानक जो दो समूहों के साथ समूह lasso है - एक सच्चा समर्थन और एक पूरक। चलो का सबसे छोटा मान हो बनाता है कि । समूह लैसो दंड की प्रकृति के कारण, हम जानते हैं कि कम से से चलता रहता है को (कुछ छोटे के लिए $y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$ $S = \{j : \beta^*_j \neq 0 \}$ $\beta^*$

\hat{β} = आर्ग \underset{β}{मिनट} ‖ y - एक्स β ‖_{2}^{2} + λ (| एस |^{1 / 2} ‖ β_{एस} ‖_{2} + (पी - | एस |)^{1 / 2} ‖ β_{{एस}^{सी}} ‖_{2}),

$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$

λ_{m a x}

$\lambda_{max}$

λ

$\lambda$

\hat{β} = 0

$\hat{\beta} = 0$

λ

$\lambda$

λ_{m a x}

$\lambda_{max}$

λ_{m a x} - ϵ

$\lambda_{max} - \epsilon$

ϵ > 0

$\epsilon > 0$ ), वास्तव में एक समूह समर्थन में प्रवेश करेगा , जिसे लोकप्रिय रूप से लिए एक अनुमान माना जाता है । हमारे समूहन के कारण, उच्च संभावना के साथ, चयनित समूह होगा , और हमने एक पूर्ण कार्य किया होगा।

\hat{β}

$\hat{\beta}$

S

$S$

S

$S$

व्यवहार में, हम इस समूह को अच्छी तरह से नहीं चुनते हैं। हालांकि, समूह, ऊपर के चरम परिदृश्य की तुलना में अधिक महीन होने के बावजूद, अभी भी हमारी मदद करेंगे: विकल्प अभी भी सच्चे कोवरिएट्स के समूह और असत्य कोवरियों के समूह के बीच बनाया जाएगा। हम अभी भी ताकत उधार ले रहे हैं।

यह यहां औपचारिक रूप दिया गया है । वे कुछ शर्तों के तहत दिखाते हैं, कि समूह लास्सो की भविष्यवाणी की त्रुटि के बारे में एक ऊपरी सीमा सादा लसो की भविष्यवाणी त्रुटि पर कम बाध्य से कम है। यही है, उन्होंने साबित कर दिया कि समूहीकरण हमारे अनुमान को बेहतर बनाता है।

आपके दूसरे प्रश्न के लिए: (सादा) लास्सो का दंड टुकड़े-टुकड़े में रैखिक है, और यह टुकड़े-टुकड़े रैखिक समाधान पथ को जन्म देता है। सहज रूप से, समूह लास्सो मामले में, दंड अब टुकड़े टुकड़े में रैखिक नहीं है, इसलिए हमारे पास अब यह संपत्ति नहीं है। समाधान रास्तों के टुकड़े-टुकड़े रैखिकता पर एक महान संदर्भ यहाँ है । उनका प्रस्ताव देखें 1. और । वे दिखाते हैं कि समूह लैस्सो का समाधान पथ रैखिक है यदि और केवल अगर टुकड़ावार स्थिर है। बेशक, यह नहीं है क्योंकि हमारे दंड में वैश्विक वक्रता है। $L(\beta) = \|y - X \beta\|_2^2$ $J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

{(\nabla^{2} एल (\hat{β}) + λ \nabla^{2} जे (\hat{β}))}^{- 1} \nabla जे (\hat{β})

$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$

J

$J$

— user795305
स्रोत

2

यह अब बहुत मायने रखता है। आपके उत्तर के लिए बहूत बहूत धन्यवाद।

— वेंडेटा

4

बेन का जवाब सबसे सामान्य परिणाम है। लेकिन ओपी के लिए सहज जवाब, श्रेणीबद्ध भविष्यवक्ताओं के मामले से प्रेरित है, जो आमतौर पर कई डमी चर के रूप में एन्कोडेड होते हैं: प्रत्येक श्रेणी के लिए एक। इन डमी चर (एक श्रेणीबद्ध भविष्यवक्ता का प्रतिनिधित्व) को अलग-अलग करने के बजाय विचार करने के लिए कई विश्लेषणों में यह समझ में आता है।

यदि आपके पास एक श्रेणीगत चर है, तो कहें, पाँच स्तर, एक सीधी लस्सो दो में और तीन बाहर छोड़ सकती है। आप इसे राजसी तरीके से कैसे संभालेंगे? वोट देने का फैसला? वस्तुतः अधिक सार्थक श्रेणी के बजाय डमी चर का उपयोग करें? आपकी डमी एन्कोडिंग आपकी पसंद को कैसे प्रभावित करती है?

जैसा कि वे लॉजिस्टिक रिग्रेशन के लिए द ग्रुप लैस्सो की शुरूआत में कहते हैं , इसमें उल्लेख है:

रेखीय प्रतिगमन में विशेष मामले के लिए पहले से ही जब न केवल निरंतर, बल्कि श्रेणीबद्ध भविष्यवक्ता (कारक) भी मौजूद हैं, तो लास्सो समाधान संतोषजनक नहीं है क्योंकि यह केवल पूरे कारकों के बजाय केवल ईक-इल डमी चर का चयन करता है। इसके अलावा, लासो समाधान इस बात पर निर्भर करता है कि डमी चर कैसे एन्कोड किए गए हैं। एक श्रेणीबद्ध भविष्यवक्ता के लिए विभिन्न विरोधाभासों को चुनना सामान्य रूप से विभिन्न समाधानों का उत्पादन करेगा।

जैसा कि बेन बताते हैं, भविष्यवक्ताओं के बीच अधिक सूक्ष्म संबंध भी हैं जो यह संकेत दे सकते हैं कि उन्हें एक साथ या बाहर होना चाहिए। लेकिन श्रेणीबद्ध परिवर्तनशील समूह lasso के लिए पोस्टर चाइल्ड हैं।

— वेन
स्रोत

@ बान: हम्म ... मैं वास्तव में ओपी की पहली टिप्पणी को नहीं समझ सकता, ऐसा लगता है कि यह अब हटाई गई टिप्पणी की प्रतिक्रिया है? यह सवाल खुद और इसके शीर्षक - जो कि अधिकांश दर्शक पढ़ेंगे - एक सामान्य प्रश्न लगता है। यदि प्रश्न और शीर्षक को "गैर-स्पष्ट अनुप्रयोगों के श्रेणीबद्ध चर के मामले से परे लसो के लिए क्या किया जाता है?"

— वेन

ठीक है। मैं आपकी बात को पसंद करता हूं कि कारकों पर कैसे (सादे) लसो का उपयोग करके अनुमान कारकों के कोडिंग पर निर्भर करता है! मैंने पहले समूह लैस्सो के बारे में सोचा था कि "पैरामीटर स्पार्सिटी" के बजाय हमें एक प्रकार का "माप स्पार्सिटी" दिया गया है (यानी हमें कारक को मापना चाहिए या नहीं - सभी स्तरों का चयन किया जाना चाहिए या नहीं।)

— user7959