यदि LASSO लाइपलेस के साथ रैखिक प्रतिगमन के बराबर है, तो शून्य पर घटकों के साथ सेट पर द्रव्यमान कैसे हो सकता है?

Question

हम सभी इस धारणा से परिचित हैं कि साहित्य में अच्छी तरह से प्रलेखित है, कि LASSO ऑप्टिमाइज़ेशन (सरलता के लिए लीनियर रिग्रेशन के मामले पर यहाँ ध्यान देना) गाऊसी त्रुटियों के साथ रेखीय मॉडल है, जिसमें मापदंडों लाप्लास दिया जाता है पूर्व के बराबर है \ exp - (\ lambda \ | | \ बीटा \ _1) , हम यह भी है कि उच्च एक सेट ट्यूनिंग पैरामीटर बारे में जानते हैं \ lambda , मापदंडों का बड़ा भाग शून्य पर सेट हो जाता है। यह कहा जा रहा है, मेरे पास निम्नलिखित विचार प्रश्न हैं: exp ( - λ ‖ β ‖ 1 )

$${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$$
$$\exp(-\lambda \| \beta \|_1 )$$ $\lambda$

विचार करें कि देखने के बायेसियन बिंदु से हम पीछे संभावना है कि, कहते हैं, गैर शून्य पैरामीटर अनुमान अंतराल के किसी भी संग्रह में झूठ गणना कर सकते हैं और मानकों LASSO द्वारा शून्य पर सेट शून्य के बराबर है। मुझे क्या उलझन है, यह देखते हुए कि लाप्लास पूर्व निरंतर है (वास्तव में पूरी तरह से निरंतर है) फिर किसी भी सेट पर कोई द्रव्यमान कैसे हो सकता है जो \ {0 \} पर अंतराल और एकल के उत्पाद है $\{0\}$?

Comments

क्या आपको लगता है कि पीछे एक सतत पीडीएफ भी नहीं है? तथ्य यह है कि पोस्टीरियर का अधिकतम एक बिंदु पर होता है जो 0 घटकों के बहुत से होता है इसका मतलब यह नहीं है कि पोस्टीरियर एक सतत पीडीएफ नहीं है।

— ब्रायन बॉर्चर्स

पीछे एक निरंतर पीडीएफ है। विवश अधिकतम संभावना अनुमान के रूप में देखा जाता है, अगर हम कल्पना करते हैं कि एक ही डेटा वितरण से बार-बार ड्रॉ होता है जब सच्चे मॉडल में कई प्रतिगमन गुणांकों पर शून्य होता है और ट्यूनिंग स्थिरांक काफी बड़ा होता है, तो सीएमएलई में हमेशा समान घटक होंगे जो शून्य और गैर- पर सेट होते हैं शून्य पैरामीटर संगत आत्मविश्वास अंतराल में फैल जाएंगे। बाइसियन परिप्रेक्ष्य से यह इस तरह के सेट के लिए सकारात्मक संभावना होने के बराबर है। मेरा सवाल यह है कि निरंतर वितरण के लिए यह कैसे हो सकता है।

— ग्रांट इज़मिरलियन

सीएलएमई समाधान एमएपी अनुमान के साथ मेल खाता है। कहा जा सकता है कि वास्तव में कुछ भी नहीं है।

— साइकोरैक्स का कहना है कि मोनिका

CMLE समाधान पीछे से एक नमूना नहीं है।

— ब्रायन बॉर्चर्स

कोई विरोधाभास नहीं है क्योंकि पीछे वाले निचले आयाम के सेट पर द्रव्यमान नहीं डालते हैं।

— शीआन

Answer 1

उपरोक्त सभी टिप्पणियों की तरह, LASSO की बायेसियन व्याख्या , पोस्टीरियर डिस्ट्रीब्यूशन के अपेक्षित मूल्य को नहीं ले रही है, जो कि आप एक शुद्धतावादी होने पर करना चाहते हैं। यदि ऐसा है, तो आप सही होंगे कि बहुत कम संभावना है कि पीछे की ओर शून्य हो जो डेटा दिया जाएगा।

हकीकत में, LASSO की Bayesian व्याख्या पीछे के MAP (अधिकतम ए पोस्टवर्दी) अनुमानक को ले जा रही है। ऐसा लगता है कि आप परिचित हैं, लेकिन जो कोई भी नहीं है, यह मूल रूप से बायेसियन अधिकतम संभावना है, जहां आप उस मूल्य का उपयोग करते हैं जो LASSO में मापदंडों के लिए आपके अनुमानक के रूप में होने की अधिकतम संभावना (या मोड) से मेल खाती है। चूंकि वितरण नकारात्मक दिशा से शून्य तक तेजी से बढ़ता है और सकारात्मक दिशा में तेजी से गिर जाता है, जब तक कि आपका डेटा दृढ़ता से सुझाव देता है कि बीटा कुछ अन्य महत्वपूर्ण मूल्य है, आपके पीछे के मूल्य का अधिकतम मूल्य 0 होने की संभावना है।

लघुकथा छोटी, आपका अंतर्ज्ञान पश्च के माध्य पर आधारित प्रतीत होता है, लेकिन LASSO की बायेसियन व्याख्या, पश्च की विधा लेने पर आधारित है।