कितना संवेदनशील यह एक LASSO मॉडल में चुनना है ताकि यह नॉनज़ेरो भविष्यवाणियों की संख्या एक इच्छा पैदा करे?

11

जब मैं क्रॉस-वैलिडेशन के माध्यम से अपना मेमना निर्धारित करता हूं, तो सभी गुणांक शून्य हो जाते हैं। लेकिन मुझे साहित्य से कुछ संकेत हैं कि कुछ भविष्यवक्ताओं को निश्चित रूप से परिणाम को प्रभावित करना चाहिए। क्या यह मनमाने ढंग से मेमना चुनने के लिए बकवास है ताकि एक इच्छा के रूप में बस उतना ही विरलता हो?

मैं एक कॉक्स मॉडल के लिए 135 में से शीर्ष 10 या भविष्यवक्ताओं का चयन करना चाहता हूं और दुर्भाग्य से आकार छोटे हैं।

lasso

— मिउरा
स्रोत

6

लगता है जैसे आपको एक सूचनात्मक पूर्व का उपयोग करना चाहिए, क्योंकि आपके पास गैर-डेटा आधारित जानकारी है।

— probabilityislogic

गहरी मुझे लगता है कि यह सही होगा, दुर्भाग्य से मैं पूरी तरह से सांख्यिकीय कौशल की कमी अब भी जहां यह करना शुरू करने के लिए।

— मिउरा

1

आप दो अलग-अलग चीजों को भ्रमित करते हैं: (1) यदि साहित्य आपको विशिष्ट भविष्यवक्ताओं का उपयोग करने के लिए कहता है, तो उन्हें सभी मॉडलों में शामिल करें। (२) इसके बजाय आप इसे फिर से व्याख्या करने लगते हैं क्योंकि यह संकेत देते हुए कि आपको कई भविष्यवाणियों में से एक निश्चित संख्या का चयन करना चाहिए , भले ही वे साहित्य में उल्लिखित विशिष्ट शामिल हों। क्या आप स्पष्ट कर सकते हैं कि आप वास्तव में क्या हासिल करना चाहते हैं?

— whuber

4

यदि आप कम से कम कुछ भविष्यवाणियों की एक निश्चित संख्या के साथ साहित्य द्वारा परिभाषित मूल्यों के साथ चाहते हैं, तो शुरुआत करने के लिए शुद्ध-लेसो दृष्टिकोण क्यों चुनें? जैसा कि @probabilityislogic ने सुझाव दिया है, आपको उन चरों पर कुछ जानकारीपूर्ण पुजारियों का उपयोग करना चाहिए, जहां आपको कुछ ज्ञान है। यदि आप बाकी भविष्यवक्ताओं के लिए LASSO के कुछ गुणों को बनाए रखना चाहते हैं, तो शायद आप एक दूसरे के इनपुट के लिए डबल घातीय वितरण के साथ पूर्व का उपयोग कर सकते हैं, अर्थात, प्रपत्र घनत्व का उपयोग करें जहाँ

p (β_{i}) = \frac{λ}{2} exp (- λ | β_{i} |),

$p(\beta_i)=\frac{\lambda}{2}\text{exp}\left(-\lambda|\beta_i|\right),$

λ

$\lambda$ शुद्ध-लेस्सो समाधान के अनुरूप लैग्रेंज गुणक है। यह अंतिम कथन इस तथ्य से आता है कि, जानकारीपूर्ण पुजारियों के साथ चर के अनुपस्थिति में, यह LASSO को प्राप्त करने का एक और तरीका है (अवशिष्ट के लिए सामान्यता को ध्यान में रखते हुए दिए गए पोस्टीरियर मोड को अधिकतम करके)।

— Néstor
स्रोत

3

LASSO प्रदर्शन करने के लिए एक अच्छा तरीका मौजूद है लेकिन भविष्यवक्ताओं की एक निश्चित संख्या का उपयोग करें। यह एफ्रॉन के कागज में वर्णित कम से कम कोण प्रतिगमन (LAR या LARS) है। पुनरावृत्ति प्रक्रिया के दौरान यह कई रैखिक मॉडल बनाता है, प्रत्येक नए में एक और एक भविष्यवक्ता होता है, इसलिए आप इच्छित संख्या में भविष्यवाणियों के साथ एक का चयन कर सकते हैं।

एक और तरीका है या नियमितीकरण। जैसा कि नेस्टर द्वारा उचित पुजारियों का उपयोग करके आप मॉडल में पूर्व ज्ञान शामिल कर सकते हैं। Tipping द्वारा तथाकथित प्रासंगिक वेक्टर मशीन उपयोगी हो सकती है। $l_1$ $l_2$

— एलेक्सी ज़ेत्सेव
स्रोत

3

जबकि LARS और लास्सो निकट से संबंधित हैं, निश्चित संख्या में भविष्यवक्ताओं के लिए, वे समान चर भी शामिल नहीं कर सकते हैं। एक ले सकता है एक लैसो कि भविष्यवक्ताओं की वांछित संख्या देता है के लिए दंड मूल्य, लेकिन न तो मामले में चुनाव अद्वितीय हो जाएगा! इसलिए ओपी ने अभी तक एक अच्छी तरह से परिभाषित प्रक्रिया प्रदान नहीं की है, जो समस्या का हिस्सा है। लार्स के लिए, यह अच्छा लाभ है कि एक निश्चित संख्या में भविष्यवाणियों की पैदावार का दंड देने वाला मान एक अंतराल बनाता है, इसलिए एक समापन बिंदु (जो एक?) या मध्य बिंदु या कुछ अन्य मानदंड चुनना कुछ आसान है।

— कार्डिनल

1

हां, यह सही है कि LARS और LASSO समान नहीं हैं, लेकिन मूल लेख में लेखकों द्वारा सुझाए गए LARS का एक सरल संशोधन LARS- आधारित तकनीक का उपयोग करके LASSO समाधान प्राप्त करने के लिए पेश किया जा सकता है।

— एलेक्सी ज़ेत्सेव

हाँ, एलेक्सी, यह सच है। मुझे लगता है कि मेरी टिप्पणी घूमती है कि पहले स्थान पर LARS में क्यों चलती है। एक आमतौर पर बस के रूप में आसानी से lasso के लिए जुर्माना पैरामीटर का मान चुन सकता है जो कि भविष्यवक्ताओं की वांछित संख्या प्राप्त करता है। अधकचरा छोड़ दिया गया मुख्य बिंदु यह है कि किसी को एक अद्वितीय चयन करने के बारे में कैसे जाना चाहिए और ओपी के मामले में इसके परिणाम क्या हो सकते हैं। :)

— कार्डिनल

2

$\left| S^* \right| = \left| \left\{ j : \beta^*_j \neq 0 \right\} \right|$ $\beta^*$ $|S^*|$ $2^p$ $|S^*|$ ${p \choose |S^*|}$ मॉडल, जो बहुत कम है।

लैस्सो का सिद्धांत नियमितीकरण पैरामीटर पर निर्भर करता है पर्याप्त रूप से बड़ा होता है ताकि चयनित मॉडल को पर्याप्त रूप से विरल बनाया जा सके। यह हो सकता है कि आपकी 10 विशेषताएँ बहुत अधिक या बहुत कम हैं, क्योंकि यह पर एक निचली बाउंड को ऊपरी सीमा में बदलने के लिए तुच्छ नहीं है। $\lambda$ $\lambda$ $|S^*|$

Let लिए हमारा डेटा-चालित अनुमान है , और । फिर, शायद आप यह सुनिश्चित करने की कोशिश कर रहे हैं कि ताकि आप कम से कम प्रासंगिक सुविधाओं को पुनर्प्राप्त कर सकें? या हो सकता है कि आप उस को स्थापित करने का प्रयास कर रहे हों ताकि आपको पता चले कि आपके द्वारा पाई गई विशेषताएं सभी सार्थक हैं? इन मामलों में, आपकी प्रक्रिया अधिक न्यायसंगत होगी यदि आपके पास के सापेक्ष आकारों की पूर्व सूचना थी । $\hat\beta$ $\beta^*$ $\hat{S} = \{j \, : \, \hat\beta_j \neq 0 \}$ $S^* \subseteq \hat{S}$ $\hat{S} \subseteq S^*$ $S^*$

इसके अलावा, ध्यान दें, उदाहरण के लिए, लसो का प्रदर्शन करते समय, आप कुछ गुणांक को अनपेक्षित छोड़ सकते हैं glmnet।

— user795305
स्रोत