लैम्ब्डा "न्यूनतम से एक मानक त्रुटि के भीतर" एक लोचदार शुद्ध प्रतिगमन में लैम्ब्डा के लिए अनुशंसित मूल्य क्यों है?

Question

मैं समझता हूं कि लाम्बा एक लोचदार-शुद्ध प्रतिगमन में क्या भूमिका निभाता है। और मैं समझ सकता हूं कि क्यों एक lambda.min का चयन करेगा, लंबित मान जो क्रॉस वैध मान्यता को कम करता है।

मेरा सवाल यह है कि सांख्यिकी साहित्य में लैम्बडा का उपयोग करने की सिफारिश कहां की गई है। यह, लैम्ब्डा का मूल्य है जो सीवी त्रुटि और एक मानक त्रुटि को कम करता है ? मैं एक औपचारिक उद्धरण, या यहाँ तक कि यह अक्सर एक अच्छा मूल्य है के लिए एक कारण खोजने के लिए प्रतीत नहीं कर सकते। मैं समझता हूं कि यह एक अधिक प्रतिबंधक नियमितीकरण है, और मापदंडों को शून्य की ओर अधिक सिकोड़ देगा, लेकिन मैं हमेशा उन स्थितियों के बारे में निश्चित नहीं हूं जिनके तहत lambda.1se lambda.min पर बेहतर विकल्प है। क्या कोई समझाने में मदद कर सकता है?

Comments

हस्ती एट अल में एक औपचारिक संदर्भ पाया जा सकता है। पृष्ठ ६१ पर The "द एलीमेंट ऑफ स्टैटिस्टिकल लर्निंग’ ’61. हालांकि, वे इस चुनाव के लिए ज्यादा औचित्य नहीं देते ...

— रिचर्ड हार्डी

आँकड़े देखें ।stackexchange.com/questions/80268 ।

— अमीबा का कहना है कि मोनिका

Answer 1

फ्रीडमैन, हस्ती, और टिब्शिरानी (2010) , द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग , लिखते हैं,

हम अक्सर सर्वश्रेष्ठ मॉडल का चयन करते समय "एक-मानक-त्रुटि" नियम का उपयोग करते हैं; यह इस तथ्य को स्वीकार करता है कि जोखिम घटता त्रुटि के साथ अनुमानित है, इसलिए पार्सिमनी के पक्ष में गलतियां हैं।

एक मानक त्रुटि का उपयोग करने का कारण, किसी अन्य राशि के विपरीत, ऐसा लगता है क्योंकि यह अच्छी तरह से है ... मानक। कृताजिक, एट अल (2014) लिखते हैं (बोल्ड जोर मेरा):

ब्रीमन एट अल। [२५] वर्गीकरण ट्री मॉडल के लिए इष्टतम पेड़ के आकार का चयन करने के मामले में पाया गया है कि न्यूनतम क्रॉस-सत्यापन त्रुटि वाले पेड़ का आकार एक मॉडल उत्पन्न करता है जो आमतौर पर ओवरफिट होता है। इसलिए, उनकी पुस्तक ब्रेमेन एट अल की धारा 3.4.3 में। [२५] एक इष्टतम त्रुटि नियम (१ एसई नियम) को एक इष्टतम पेड़ के आकार को चुनने के लिए परिभाषित करते हैं, और वे इसे पूरे पुस्तक में लागू करते हैं। एकल वी-गुना क्रॉस-सत्यापन के लिए मानक त्रुटि की गणना करने के लिए, सटीकता को प्रत्येक गुना के लिए गणना करने की आवश्यकता होती है, और मानक त्रुटि की गणना प्रत्येक गुना से वी सटीकता से की जाती है। हस्ती एट अल। [४] १ एसई नियम को सबसे पारदर्शक मॉडल का चयन करते हुए परिभाषित करें जिसकी त्रुटि सर्वश्रेष्ठ मॉडल की त्रुटि के ऊपर एक से अधिक मानक त्रुटि नहीं है, और वे सामान्य क्रॉस-सत्यापन उपयोग के लिए १ एसई नियम का उपयोग करते हुए कई स्थानों पर सुझाव देते हैं।1 एसई नियम का मुख्य बिंदु, जिसके साथ हम सहमत हैं, सबसे सरल मॉडल चुनना है जिसकी सटीकता सबसे अच्छे मॉडल के साथ तुलनीय है ।

$\lambda$

Comments

धन्यवाद! अब मैं अंत में कुछ उपयुक्त का हवाला दे सकता हूं जब सवाल उन अपरिचित लोगों के लिए आता है जो लंबोदर के "मानक" विकल्प से परिचित हैं। Krstajic et al का लिंक बहुत अच्छा लग रहा है।

— jhersh

वह उद्धरण केवल यह कहता है कि "1 वर्गीकरण के लिए इष्टतम पाया गया था "। लेकिन सवाल रिग्रेशन के बारे में पूछा ! विकल्प हैं। यदि हम उदाहरण के लिए 2se पर वापस जाने की कोशिश करते हैं, तो हमें यह समस्या आती है कि लैम्ब्डा बहुत बड़ा है और कोफेट्स को बहुत अधिक सिकोड़ता है। लेकिन हम उदाहरण के लिए उस मॉडल का पुनर्निर्माण कर सकते हैं जो मूल मॉडल में lambda.1se में चयनित सभी चरों को शामिल नहीं करता है।

— एसएमसीआई

@ हसी कौन सा प्रशस्ति पत्र? यह मेरे द्वारा निकाले गए किसी भी उद्धरण में नहीं है, जो दोनों का सुझाव है कि 1-एसई नियम सामान्य रूप से लागू होता है, न कि केवल वर्गीकरण में।

— छायाकार

Answer 2

ब्रीमन एट अल की पुस्तक (क्रैस्टाजिक के अन्य उत्तर में उद्धृत) 1SE नियम के लिए मुझे मिला सबसे पुराना संदर्भ है।

यह ब्रेमेन, फ्रीडमैन, स्टोन और ओल्शेन का वर्गीकरण और प्रतिगमन पेड़ (1984) है। वे इस नियम को धारा 3.4.3 में "व्युत्पन्न" करते हैं।

इसलिए यदि आपको एक औपचारिक उद्धरण की आवश्यकता है, तो यह मूल स्रोत प्रतीत होता है।