बेइज़ियन लासो बनाम स्पाइक और स्लैब

Question

प्रश्न: परिवर्तनीय चयन के लिए एक के बाद एक पूर्व उपयोग करने के क्या फायदे / नुकसान हैं?

मान लीजिए मैं संभावना है: मैं कहाँ रख सकते हैं या तो महंतों में से एक: डब्ल्यू मैं ~ π δ 0 + ( 1 - π ) एन ( 0 , 100

$$y\sim\mathcal{N}(Xw,\sigma^2I)$$ या: डब्ल्यू मैं ~ exp ( - λ | डब्ल्यू मैं | $$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$$ $$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$$

मैं डाल पर जोर देना वजन के सबसे शून्य कर रहे हैं और एक गामा पूर्व पर λ 'को नियमित करने' पैरामीटर लेने के लिए।$\pi=0.9$$\lambda$

हालाँकि, मेरे प्रोफेसर इस बात पर जोर देते हैं कि लैस्सो संस्करण 'गुणांक' को सिकोड़ता है और वास्तव में उचित परिवर्तनीय चयन नहीं कर रहा है, यानी संबंधित मापदंडों का अति-सिकुड़न भी है।

मैं व्यक्तिगत रूप से लस्सो संस्करण को लागू करना आसान बनाता हूं क्योंकि मैं वैरिएबल बे का उपयोग करता हूं। वास्तव में स्पार्स बायेसियन लर्निंग पेपर जो प्रभावी रूप से से पहले रखता है$\frac{1}{|w_i|}$

Comments

आपका प्रोफेसर सही है कि यह प्रासंगिक मापदंडों को कम कर रहा है, लेकिन ऐसा क्या है? यह केवल उन्हें इस हद तक सिकोड़ता है कि वे त्रुटि को कम करने में महत्वपूर्ण योगदान नहीं दे रहे हैं। और क्यों उचित चर चयन करने पर ध्यान केंद्रित किया जाना चाहिए .. फोकस (परीक्षण) त्रुटि को कम करने पर नहीं होना चाहिए

— seanv507 7

अधिकांश समस्याओं के लिए हाँ मैं सहमत हूँ। हालांकि, कुछ समस्याओं के लिए (उदाहरण के लिए जीन अभिव्यक्ति के साथ कैंसर का पता लगाना) यह जानना महत्वपूर्ण है कि कौन सी विशेषताएं योगदान कारक हैं। पी एस मैं तब से अपने पोस्टडॉक पर चला गया हूं क्योंकि वह एक मोरन है। मशीन सीखने ftw !!!

— साचिन्रुक

चर चयन में स्पाइक और स्लैब सोने का मानक होता है और मैं LASSO के साथ भी काम करना पसंद करता हूं। @ साचिन_क्रुक: स्पाइक और स्लैब पूर्व में वैरिएशनल बे का उपयोग करके भी लागू किया जा सकता है ...

— संदीपन कर्माकर

@SandipanKarmakar आप वैरिकेशनल बेसेस के साथ स्पाइक और स्लैब के संदर्भ में एक लिंक पोस्ट कर सकते हैं।

— साचिन्रुक

आपका प्रश्न मॉडलिंग [जो पहले से?] और कार्यान्वयन [वैरिएबल बेयस] मुद्दों को मिला देता है। उन्हें अलग से संसाधित किया जाना चाहिए।

— शीआन

Answer 1

इन दोनों तरीकों (LASSO बनाम स्पाइक-एंड-स्लैब) की व्याख्या बायेसियन अनुमान समस्याओं के रूप में की जा सकती है जहां आप विभिन्न मापदंडों को निर्दिष्ट कर रहे हैं। मुख्य अंतरों में से एक यह है कि LASSO विधि पूर्व के लिए शून्य पर कोई बिंदु-द्रव्यमान नहीं डालती है (यानी, पैरामीटर लगभग निश्चित रूप से गैर-शून्य एक प्राथमिकता है), जबकि स्पाइक-एंड-स्लैब एक पर्याप्त बिंदु-द्रव्यमान डालता है शून्य पर।

मेरी विनम्र राय में, स्पाइक-एंड-स्लैब विधि का मुख्य लाभ यह है कि यह उन समस्याओं के लिए अच्छी तरह से अनुकूल है जहां मापदंडों की संख्या डेटा बिंदुओं की संख्या से अधिक है , और आप पूरी तरह से मापदंडों की एक बड़ी संख्या को समाप्त करना चाहते हैं। मॉडल से। क्योंकि यह विधि पूर्व में शून्य पर एक बड़े बिंदु-द्रव्यमान को लगाती है, यह पीछे के अनुमानों का उत्पादन करेगी जो केवल मापदंडों के एक छोटे अनुपात को शामिल करते हैं, उम्मीद है कि डेटा की अधिक-फिटिंग से बचते हैं।

जब आपका प्रोफेसर आपको बताता है कि पूर्व एक चर चयन विधि का प्रदर्शन नहीं कर रहा है, तो संभवतः उसका मतलब यह है। LASSO के तहत, प्रत्येक पैरामीटर लगभग निश्चित रूप से गैर-शून्य एक प्राथमिकता है (यानी, वे सभी मॉडल में हैं)। चूँकि पैरामीटर समर्थन पर संभावना भी गैर-शून्य है, इसका मतलब यह भी होगा कि प्रत्येक निश्चित रूप से गैर-शून्य एक प्राथमिकता है (यानी, वे सभी मॉडल में हैं)। अब, आप इसे एक परिकल्पना परीक्षण के साथ पूरक कर सकते हैं, और इस तरह से मॉडल से बाहर नियम बना सकते हैं, लेकिन यह बायेसियन मॉडल के शीर्ष पर लगाया गया एक अतिरिक्त परीक्षण होगा।

बायेसियन अनुमान के परिणाम डेटा से एक योगदान और पूर्व से एक योगदान को प्रतिबिंबित करेंगे। स्वाभाविक रूप से, एक पूर्व वितरण जो शून्य के आसपास अधिक बारीकी से केंद्रित है (जैसे स्पाइक-एंड-स्लैब) परिणामी पैरामीटर अनुमानकों को वास्तव में "कम" कर देगा, जो पहले से कम केंद्रित (LASSO की तरह) है। बेशक, यह "सिकुड़" केवल आपके द्वारा निर्दिष्ट पूर्व सूचना का प्रभाव है। पूर्व LASSO के आकार का मतलब है कि यह एक चापलूसी पूर्व के सापेक्ष सभी पैरामीटर अनुमानों को सिकोड़ रहा है।