लसो के लिए इष्टतम दंड चयन

Question

वहाँ किसी भी विश्लेषणात्मक परिणाम या के बारे में प्रयोगात्मक कागजात हैं इष्टतम के गुणांक के चुनाव जुर्माना अवधि। द्वारा इष्टतम , मैं एक पैरामीटर है कि सबसे अच्छा मॉडल है, या कि कम करता है उम्मीद हानि का चयन करने की संभावना को अधिकतम मतलब है। मैं पूछ रहा हूं क्योंकि अक्सर क्रॉस-वैलिडेशन या बूटस्ट्रैप द्वारा पैरामीटर का चयन करना अव्यावहारिक है, या तो समस्या की बड़ी संख्या के कारण, या हाथ में समस्या के आकार के कारण। केवल सकारात्मक परिणाम मैं के बारे में पता कर रहा हूँ Candes और योजना, है द्वारा लगभग आदर्श मॉडल चयन ℓ 1 न्यूनतम ।$\ell_1$$\ell_1$

Comments

क्या आप लासो के लिए स्थिरता परिणाम स्थापित करने वाले कागजात से अवगत हैं? नाइट एंड फू (2000), यू एंड झाओ (2006), और मेन्सहाउसन द्वारा विभिन्न पेपर।

— कार्डिनल

हां, लेकिन मेरा प्रश्न असममितता के बारे में नहीं है, जो आपके द्वारा उल्लिखित पत्रों का विषय है।

— गप्पी

मॉडल चयन स्थिरता के बारे में वे कागजात (मुख्य रूप से) हैं , जो मैं कहूंगा कि आपके द्वारा पूछे गए प्रश्न से बहुत संबंधित है। :)

— कार्डिनल

Answer 1

इस बिकेल एट अल के चेकआउट प्रमेय 5.1 । । त्रुटि के मामले में एक सांख्यिकीय इष्टतम पसंद है λ = एक σ शोर $\|y-\hat{y}(\lambda)\|_2^2$ (उच्च संभावना के साथ), निरंतरA>2$\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$ ।$A > 2\sqrt{2}$

Comments

यह काफी बिल फिट करने के लिए प्रतीत नहीं होता है, क्योंकि यह जानते हुए भी की आवश्यकता है । वास्तव में, यह वास्तव में इस समस्या को प्रेरित वर्गमूल कमंद कि (है arxiv.org/pdf/1009.5689.pdf )$\sigma_\mathrm{noise}$

— user795305

Answer 2

मैं इसे लेता हूं कि आप ज्यादातर प्रतिगमन में रुचि रखते हैं, जैसा कि उद्धृत पेपर में है, और अन्य अनुप्रयोगों के लिए नहीं पीनाल्टी (ग्राफिकल लासो, कहते हैं)।$\ell_1$

मेरा मानना ​​है कि ज़ो एट अल द्वारा लस्सो की "स्वतंत्रता की डिग्री" पर कुछ जवाब कागज में पाए जा सकते हैं । संक्षेप में, यह स्वतंत्रता की प्रभावी डिग्री के लिए एक विश्लेषणात्मक सूत्र देता है , जो कि चुकता त्रुटि के नुकसान के लिए आपको सीवी को एक विश्लेषणात्मक टाइप सांख्यिकीय द्वारा बदलने की अनुमति देता है , कहते हैं।$C_p$

देखने के लिए एक और जगह द डेंटजिग चयनकर्ता है: सांख्यिकीय अनुमान जब p एन से बहुत बड़ा है और सांख्यिकी के एक ही अंक में चर्चा पत्र। मेरी समझ यह है कि वे लस्सो प्रतिगमन से संबंधित समस्या का समाधान करते हैं लेकिन दंड गुणांक की एक निश्चित पसंद के साथ। लेकिन कृपया चर्चा पत्रों पर भी एक नज़र डालें।

यदि आप भविष्यवाणी में रुचि नहीं रखते हैं, लेकिन मॉडल के चयन में, मैं समान परिणामों से अवगत नहीं हूं। भविष्यवाणी इष्टतम मॉडल अक्सर प्रतिगमन मॉडल में बहुत अधिक चयनित चर का परिणाम देते हैं। कागज स्थिरता चयन में Meinshausen और Bühlmann एक subsampling तकनीक मॉडल चयन के लिए और अधिक उपयोगी प्रस्तुत करता है, लेकिन यह भी कम्प्यूटेशनल रूप से अपनी आवश्यकताओं के लिए मांग कर सकते हैं।

Comments

(+1) उन सभी पत्रों में इस विषय में रुचि रखने वालों के लिए सावधानीपूर्वक पढ़ने लायक है। डैंटज़िग चयनकर्ता पेपर में कुछ बहुत अच्छा गणित है; हालाँकि, मैंने इसे अनुप्रयोगों में बहुत अधिक कर्षण नहीं देखा है, और न ही मुझे इसकी अपेक्षा है। मुझे लगता है, अन्य बातों के अलावा, बहुत शोर नियमितीकरण मार्ग लोगों को परेशान करते हैं और इसलिए, लस्सो पर कोई स्पष्ट लाभ नहीं होने के कारण, यह एक कठिन बिक्री है।

— कार्डिनल

हम ध्यान दें कि हालांकि, नियमितीकरण पैरामीटर के दिए गए मान के लिए नॉनज़ेरो गुणांक की संख्या उस मूल्य पर DoF के लिए एक निष्पक्ष अनुमान है, यह अनुमान अत्यंत उच्च-विचरण है।

— दोहातोब

Answer 3

चूंकि यह सवाल पूछा गया है, इसलिए दिलचस्प प्रगति हुई है। उदाहरण के लिए, इस पत्र पर विचार करें

चिचिग्नौड, एम।, लेडरर, जे।, और वेनराइट, एम। (2016)। एक व्यावहारिक योजना और फास्ट एल्गोरिथ्म लोसो टु ऑप्टिमलिटी गारंटी के साथ। मशीन लर्निंग रिसर्च जर्नल, 17, 1-17।

वे मॉडल चयन के लिए उपयुक्त परिमित नमूना गारंटी के साथ LASSO ट्यूनिंग पैरामीटर का चयन करने के लिए एक विधि का प्रस्ताव करते हैं। जैसा कि वे कागज में कहते हैं, "मानक अंशांकन योजनाओं के लिए, उनके बीच क्रॉस-वैलिडेशन, कोई तुलनीय गारंटी साहित्य में नहीं हैं। वास्तव में, हम मानक अंशांकन योजनाओं के लिए किसी भी परिमित नमूना गारंटी से अवगत नहीं हैं"।

Answer 4

यह आपके प्रश्न का उत्तर नहीं देता है, लेकिन: एक बड़ी डेटा सेटिंग में, एक ट्रेन / टेस्ट विभाजन का उपयोग करके नियमित रूप से ट्यून करना ठीक हो सकता है, बजाय इसे क्रॉस-वैलिडेशन (या बूटस्ट्रैप के अधिक) करने के लिए 10 बार। भक्त के लिए चुने गए नमूने का आकार और अभ्यावेदन इष्टतम नियमितकर्ता के अनुमान की सटीकता निर्धारित करता है।

मेरे अनुभव में आयोजित-आउट लॉस अपेक्षाकृत रेग्युलर रेंज के मुकाबले अपेक्षाकृत कम है। मुझे यकीन है कि यह तथ्य अन्य समस्याओं के लिए धारण नहीं कर सकता है।