Lasso लॉजिस्टिक प्रतिगमन में गुणांक महत्व के लिए परीक्षण

Question

[इसी तरह का सवाल यहां कोई जवाब नहीं के साथ पूछा गया था ]

मैंने एल 1 नियमितीकरण (लास्सो लॉजिस्टिक रिग्रेशन) के साथ एक लॉजिस्टिक रिग्रेशन मॉडल फिट किया है और मैं महत्व के लिए फिट किए गए गुणांक का परीक्षण करना चाहता हूं और अपने पी-वैल्यू प्राप्त करना चाहता हूं। मुझे पता है कि वाल्ड के परीक्षण (उदाहरण के लिए) नियमितीकरण के बिना पूर्ण प्रतिगमन में व्यक्तिगत गुणांक के महत्व का परीक्षण करने का एक विकल्प है, लेकिन लास्सो के साथ मुझे लगता है कि आगे की समस्याएं उत्पन्न होती हैं जो सामान्य वाल्ड फॉर्मूला लागू करने की अनुमति नहीं देते हैं। उदाहरण के लिए, परीक्षण के लिए neded विचरण अनुमान सामान्य अभिव्यक्तियों का पालन नहीं करते हैं। मूल लैस्सो कागज

http://statweb.stanford.edu/~tibs/lasso/lasso.pdf

गुणांक विचरण का अनुमान लगाने के लिए एक बूटस्ट्रैप-आधारित प्रक्रिया का सुझाव देता है, जो (फिर से, मुझे लगता है) परीक्षणों के लिए आवश्यक हो सकता है (धारा 2.5, पृष्ठ 272 का अंतिम पैराग्राफ और 273 की शुरुआत):

बूटस्ट्रैप के माध्यम से एक दृष्टिकोण है: या तो को ठीक किया जा सकता है या हम प्रत्येक बूटस्ट्रैप नमूने के लिए टी पर अनुकूलन कर सकते हैं । फिक्सिंग टी सबसे अच्छा सबसेट ( सुविधाओं के ) का चयन करने के लिए अनुरूप है और फिर उस सबसेट के लिए कम से कम वर्ग मानक त्रुटि का उपयोग कर रहा है$t$$t$$t$

मुझे जो समझ में आता है वह यह है: जब तक हम नियमितीकरण पैरामीटर (यह बूटस्ट्रैप का हिस्सा नहीं है) के लिए इष्टतम मूल्य नहीं पाते हैं, तब तक पूरे डेटासेट में एक लास्सो रिग्रेशन फिट होता है, और उसके बाद केवल लैसमो द्वारा चुनी गई सुविधाओं का उपयोग करके ओलासमैन को फिट किया जा सकता है डेटा और उन रजिस्टरों में से प्रत्येक से भिन्न की गणना करने के लिए सामान्य सूत्र लागू करें। (और फिर मुझे प्रत्येक गुणांक के उन सभी संस्करणों के साथ क्या करना चाहिए जो प्रत्येक गुणांक के अंतिम संस्करण का अनुमान प्राप्त करते हैं?)

इसके अलावा, क्या यह सामान्य महत्व परीक्षणों (उदाहरण के लिए वाल्ड्स टेस्ट जो अनुमानित बेट्स और वेरिएंस का उपयोग करता है) का उपयोग गुणांक और बूटस्ट्रैप-अनुमानित वेरिएंस के लास्सो अनुमानों के साथ करना सही है? मुझे पूरा यकीन है कि यह नहीं है, लेकिन किसी भी मदद (एक अलग परीक्षण का उपयोग करें, एक अधिक सरल दृष्टिकोण का उपयोग करें, जो भी हो ...) स्वागत से अधिक है।

यहाँ उत्तर के अनुसार मुझे संदेह है और पी-वैल्यूज़ को प्राप्त नहीं किया जा सकता है। मेरे मामले में, पी-वैल्यू एक बाहरी आवश्यकता है (हालांकि एल 1 नियमितीकरण का उपयोग मेरी पसंद था)।

बहुत बहुत धन्यवाद

EDIT क्या होगा यदि मैं ओएलएस लॉजिस्टिक रिग्रेशन को केवल लास्गो लॉजिस्टिक रिग्रेशन के पिछले रन द्वारा चुने गए चर का उपयोग करके फिट करूं? स्पष्ट रूप से ( यहां देखें ),

क्रॉस-वेलिडेशन करने के बाद मॉडल को फिर से चलाने की आवश्यकता नहीं है (आप बस cv.glmnet के आउटपुट से गुणांक प्राप्त करते हैं), और वास्तव में यदि आप बिना दंड के नए लॉजिस्टिक प्रतिगमन मॉडल को फिट करते हैं तो आप उपयोग करने के उद्देश्य को हरा रहे हैं कमंद

लेकिन क्या होगा अगर मैं चर के संख्या को कम रखते हुए पी-मूल्यों की गणना करने में सक्षम होने के एकमात्र उद्देश्य के साथ ऐसा करूं? क्या यह बहुत गंदा तरीका है? :-)

Comments

LASSO मॉडल के लिए इंट्रैक्शन करने के लिए आप CRAN पैकेज hdi की भी जांच कर सकते हैं, जो हाई-डायमेंशनल मॉडल के लिए इंट्रेंस प्रदान करता है, आप उस पर एक नज़र रखना चाहते हैं ...

— टॉम वेंसलेर्स

इस पत्र में पूर्ण विधियों का अच्छी तरह से वर्णन किया गया है: projecteuclid.org/euclid.ss/1449670857

— टॉम वेंसलेर्स

और वहाँ भी पैकेज cran.r-project.org/web/packages/selectiveInference/index.html है कि LASSO के लिए निष्कर्ष प्रदान करने के लिए उपयोगी हो सकता है ...

— टॉम Wenseleers

यह एक अच्छा और महत्वपूर्ण सवाल है।

— जिंहुआ वांग

Answer 1

सामान्य महत्व परीक्षणों का उपयोग करने के साथ समस्या यह है कि वे शून्य मान लेते हैं कि यादृच्छिक चर हैं, जिनके परिणाम चर के साथ कोई संबंध नहीं है। हालाँकि आपके पास लस्सो के साथ क्या है, यादृच्छिक चर का गुच्छा है, जिसमें से आप लस्सो के साथ सबसे अच्छे लोगों का चयन करते हैं, साथ ही बिट्स सिकुड़ जाते हैं। इसलिए आप इसका उपयोग नहीं कर सकते, परिणाम पक्षपाती होंगे।

जहां तक ​​मुझे पता है, बूटस्ट्रैप का उपयोग विचरण अनुमान प्राप्त करने के लिए नहीं किया जाता है, बल्कि किसी चर की संभावनाओं को चुनने के लिए किया जाता है। और वे तुम्हारे पी-वैल्यू हैं। हसी की निशुल्क पुस्तक, सांख्यिकीय लर्निंग विद स्पार्सिटी, चैप्टर 6 उसी चीज के बारे में बात कर रहा है। http://web.stanford.edu/~hastie/StatLearnSparsity/

कुछ अन्य तरीकों से पी-मूल्यों को प्राप्त करने के लिए के लिए लैसो से भी इस पत्र की जाँच https://arxiv.org/pdf/1408.4026.pdf वहाँ शायद और अधिक कर रहे हैं

Answer 2

$\sqrt{n}$

सौभाग्य से, हाल ही के वर्षों में अनुमान के तरीकों को विकसित करने में बहुत प्रगति हुई है, जो चयन के बाद के लिए जिम्मेदार हैं। आपके मामले के लिए कुछ प्रासंगिक संदर्भ हैं: http://projecteuclid.org/euclid.aos/1460381681 और, https://arxiv.org/pdf/1602.07358.pdf । इन संदर्भों में चर्चा की गई तकनीकों को आर पैकेज सेलेक्टिवइन्सेशन- https://cran.r-project.org/web/packages/selectiveInference/index.html में लागू किया गया है । SelectiveInference पैकेज को आपके द्वारा आवश्यक मान्य आत्मविश्वास अंतराल का उत्पादन करना चाहिए।

Comments

यूनिवर्स द्वारा कौरसेरा में मशीन लर्निंग विशेषज्ञता में। वाशिंगटन के, पाठ्यक्रम 2 (प्रतिगमन) के शिक्षकों ने लास्सो प्रतिगमन के लिए एक पूरे सप्ताह को समर्पित किया। स्लाइड्स में से एक में, मैंने जिस प्रक्रिया का वर्णन किया है (सुविधाओं का चयन करने के लिए लासो का उपयोग करके और फिर केवल उन चर के साथ एक एलएस प्रतिगमन फिटिंग) को डेविसिमेट किया जाता है और इसे सही माना जाता है और मारियो फिगएयरेडो द्वारा एक पेपर से रेखांकन के साथ सचित्र है। स्लाइड 105 यहां देखें: github.com/MaxPoon/coursera-Machine-Learning-specialization/…

— पाब्लो

जबकि वे लसो पर बहस करने की सलाह देते हैं, वे परिकल्पना परीक्षण पर चर्चा नहीं करते हैं। इसके अलावा, डे-बायसिंग शब्द भ्रामक है, क्योंकि मॉडल को रिजेक्ट करते समय लैस्सो द्वारा प्रेरित नीचे वाले पूर्वाग्रह से छुटकारा मिल जाता है, यह विजेता के अभिशाप से प्रेरित ऊपर वाले पूर्वाग्रह के साथ मदद नहीं करता है। जहाँ तक मुझे पता है, चयनित मॉडल के प्रतिगमन गुणांक अनुमानों को सही मायने में डी-बायस करने का एकमात्र तरीका सशर्त अधिकतम संभावना अनुमानों की गणना करना है। arxiv.org/abs/1705.09417

— user3903581