LASSO प्रतिगमन गुणांक की व्याख्या

Question

मैं वर्तमान में ~ 300 चर और 800 टिप्पणियों के साथ एक डेटासेट पर एक द्विआधारी परिणाम के लिए एक भविष्य कहनेवाला मॉडल बनाने पर काम कर रहा हूं। मैंने इस साइट पर स्टेप वाइज रिग्रेशन से जुड़ी समस्याओं के बारे में बहुत कुछ पढ़ा है और इसका उपयोग क्यों नहीं किया है।

मैं LASSO प्रतिगमन और फीचर चयन के लिए अपनी क्षमता में पढ़ रहा हूं और "कैरेट" पैकेज और "ग्लमेनेट" के उपयोग के साथ इसे लागू करने में सफल रहा हूं।

मैं मॉडल के गुणांक को इष्टतम lambdaऔर alpha"कैरेट" से निकालने में सक्षम हूं ; हालांकि, मैं गुणांक की व्याख्या करने के बारे में अपरिचित हूं।

• क्या LASSO गुणांकों की व्याख्या लॉजिस्टिक रिग्रेशन के समान तरीके से की जाती है?
• क्या लॉजिस्टिक लॉजिस्टिक में LASSO से चयनित सुविधाओं का उपयोग करना उचित होगा?

संपादित करें

गुणांक की व्याख्या, LASSO प्रतिगमन से घातांक गुणांक के रूप में, जब अन्य सभी गुणांक को स्थिर रखते हुए गुणांक में 1 इकाई परिवर्तन के लिए लॉग ऑड होता है।

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

Comments

क्या आप "लॉजिस्टिक रिग्रेशन के रूप में उसी तरह से व्याख्या" से थोड़ा मतलब भर सकते हैं? मुझे यह जानने के लिए बहुत उपयोगी होगा कि आप किस व्याख्या को सामान्य बनाना चाहते हैं।

— मैथ्यू

@ मैथ्यू डॉरी - मेरी सहायता करने के लिए समय निकालने के लिए आपका बहुत-बहुत धन्यवाद, क्योंकि मेरा कोर्स कभी भी LASSO के ऊपर नहीं गया। सामान्य तौर पर, जो मुझे मेरे स्नातक पाठ्यक्रमों के दौरान पढ़ाया जाता था, एक लॉजिस्टिक रिग्रेशन से एक्सपेरीमेंटेड गुणांक 1 गुणांक की लॉग ऑड्स को गुणांक में बढ़ाता है, जबकि अन्य सभी गुणांक को स्थिर रखता है।

— माइकल लुऊ

$\alpha$$\lambda$$\alpha$

जहां तक ​​मैं बता सकता हूं, ज्यादातर LASSO कार्यान्वयन में गुणांक के लिए महत्व परीक्षण पेश नहीं किया गया है। तो क्या यह अंतर नहीं हो सकता है कि जब हम OLS में सांख्यिकीय रूप से महत्वपूर्ण चर निर्धारित कर सकते हैं, तो हम LASSO के साथ ऐसा नहीं कर सकते हैं सिवाय एक कमजोर बयान के कि चयनित चर के LASSO गुणांकों पर विचार करने के लिए "महत्वपूर्ण" चर हैं?

— गॉडस्पीड

Answer 1

क्या LASSO गुणांकों की व्याख्या लॉजिस्टिक रिग्रेशन के समान तरीके से की जाती है?

मुझे rephrase दें: क्या LASSO गुणांक को उसी तरह व्याख्यायित किया जाता है, उदाहरण के लिए, एक लॉजिस्टिक प्रतिगमन में OLS अधिकतम संभावना गुणांक?

LASSO (एक दंडित आकलन पद्धति) का उद्देश्य उतनी ही मात्रा (मॉडल गुणांक) का अनुमान लगाना है , जैसे, OLS अधिकतम संभावना (एक अनपेक्षित विधि)। मॉडल समान है, और व्याख्या समान है। LASSO से संख्यात्मक मानों सामान्य रूप से से उन लोगों से अलग होगा OLS अधिकतम संभावना: कुछ शून्य के करीब हो जाएगा, दूसरों बिल्कुल शून्य हो जाएगा। दण्डनीय ठहराए जाने के एक समझदार राशि लागू किया गया है, तो LASSO अनुमानों की तुलना में सही मूल्य के करीब झूठ होगा OLS अधिकतम संभावना अनुमान है, जो एक वांछनीय परिणाम है।

क्या लॉजिस्टिक लॉजिस्टिक में LASSO से चयनित सुविधाओं का उपयोग करना उचित होगा?

इसके साथ कोई अंतर्निहित समस्या नहीं है, लेकिन आप केवल चयन के लिए ही नहीं बल्कि गुणात्मक आकलन के लिए भी LASSO का उपयोग कर सकते हैं। मैं ऊपर उल्लेख के रूप में, LASSO अनुमान और अधिक सटीक, की तुलना में कहते हैं, हो सकता है OLS अधिकतम संभावना अनुमान।

Comments

इस प्रतिक्रिया के लिए बहुत बहुत धन्यवाद! इसमें काफी सार्थकता है! कृपया इस मामले में मेरे सीमित ज्ञान का बहाना करें। जैसा कि आपने एक अन्य टिप्पणी में उल्लेख किया है कि मैं LASSO के बजाय लोचदार नेट का उपयोग कर सकता हूं क्योंकि यह इष्टतम लैंबडा और अल्फा चुनता है। क्या गुणांक के संबंध में वही लागू होगा?

— माइकल लुऊ

हाँ यह होगा। मूल तर्क वही रहता है।

— रिचर्ड हार्डी

आप लिखते हैं "व्याख्या वही रहती है"। क्या आप मुझे यह बात समझने में मदद कर सकते हैं? यह मुझे लगता है कि एक से अधिक प्रतिगमन सेटिंग में ओएलएस गुणांक की व्याख्या आंशिक प्रतिगमन भूखंडों पर निर्भर करती है । हालांकि, यह संपत्ति लसो गुणांक के लिए नहीं है, मुझे विश्वास है कि व्याख्या अलग होगी।

— 13:

@, यदि हम एक अंतर्निहित सांख्यिकीय मॉडल मानते हैं, तो हम इसके मापदंडों का अनुमान अलग-अलग तरीकों से लगा सकते हैं, दो लोकप्रिय ओएलएस और लास्सो। अनुमानित गुणांक समान लक्ष्य को लक्षित करते हैं, और दोनों में कुछ अनुमान त्रुटि होती है (जो कि, यदि चुकता किया गया, तो पूर्वाग्रह और विचरण में विघटित हो सकता है), इसलिए इस अर्थ में उनकी व्याख्या समान है। अब बेशक तरीके समान नहीं हैं, इसलिए आपको अलग-अलग अनुमानित गुणांक मिलते हैं। यदि आप तरीकों और उनकी बीजगणितीय और ज्यामितीय व्याख्याओं की परवाह करते हैं, तो ये समान नहीं हैं। लेकिन विषय-वस्तु की व्याख्याएं समान हैं।

— रिचर्ड हार्डी

$(1, \dots, p)^T$