नियमितीकरण

Question

नियमितीकरण करने के कई तरीके हैं - उदाहरण के लिए , एल 1 , और एल 2 मानक आधारित नियमितीकरण। फ्रेडमैन हस्ती और टिबरानी के अनुसार , सबसे अच्छा नियमितकर्ता समस्या पर निर्भर करता है: अर्थात् वास्तविक लक्ष्य फ़ंक्शन की प्रकृति, विशेष आधार का उपयोग, सिग्नल-टू-शोर अनुपात और नमूना आकार।$L_0$$L_1$$L_2$

क्या विभिन्न नियमितीकरण विधियों के तरीकों और प्रदर्शन की तुलना में कोई अनुभवजन्य शोध है?

Comments

तीनों लेखक स्टैनफोर्ड में हैं। क्यों न आप उनमें से एक से सीधे सवाल करें। रॉब तिब्शीरानी बहुत ही स्वीकार्य है और ऐसा ही जेरी फ्रीडमैन है। फ्राइडमैन ने नियमित रूप से प्रतिगमन में बहुत सारे मूल शोध किए। तो वह बेहतर विकल्प हो सकता है।

— माइकल आर। चेरिक

बेशक मैं यह नहीं कह सकता कि मैंने उसे जवाब दिया। लेकिन सवाल का जवाब देने के लिए उसे सबसे अच्छे व्यक्ति के लिए निर्देशित करना सिर्फ एक सामान्य टिप्पणी से अधिक लगता है जो आमतौर पर स्पष्ट करने का प्रयास करता है। मुझे अक्सर आश्चर्य होता है कि लोग हमेशा अपने सवालों को यहां क्यों पूछते हैं जब वे स्रोत पर जा सकते हैं। मुझे लगभग यकीन है कि फ्रीडमैन इसका जवाब दे सकते हैं और विशेष रूप से स्रोत पर जाने के लिए बहुत समझ में आता है जब यह उनकी किताब में लिखी गई किसी चीज के बारे में सवाल है। मैं स्रोत पर जा सकता हूं जवाब मिला और फिर यहां प्रस्तुत किया।

— माइकल आर। चेरिक

लोग स्रोत की स्थिति से एक अधिकार के रूप में भयभीत हैं, मान लें कि स्रोत अभी भी उनके (उनकी राय में) मामूली और महत्वहीन सवाल से निपटने में व्यस्त है, एक असभ्य होने से डरते हैं "आप मुझे इससे क्यों परेशान कर रहे हैं?" उत्तर ... यदि आप भी स्रोत के लिए जाना बहुत आसान है, तो एक स्रोत है, शायद अन्य सामान के लिए, क्षेत्र में।

— जूलमैन

@ जुम्मन हां। मैं समझता हूँ कि। लेकिन आप ध्यान देंगे कि मैं व्यक्तिगत आधार पर तिब्शीरानी और फ्रीडमैन को जानता हूं और ओपी को आश्वासन दिया है कि उनका डर इन लेखकों के लिए निराधार है। मैंने हस्ती का उल्लेख नहीं किया क्योंकि मैं उसे और दूसरों को भी नहीं जानता।

— माइकल आर। चेरिक

@ मुझे नहीं लगता कि हम वास्तविक रूप से उन्हें साइट से जुड़ने की उम्मीद कर सकते हैं। फ्रैंक हरेल जैसे कुछ अपवादों के साथ व्यस्त प्रोफेसरों के लिए बहुत अधिक समय की आवश्यकता है और संभवतः अन्य जो छद्म शब्द का उपयोग करते हैं। लेकिन मुझे लगता है कि वे सीधे भेजे गए विशिष्ट प्रश्नों का जवाब देने के लिए समय लेंगे।

— माइकल आर। चेरिक

Answer 1

एक दंडित रैखिक मॉडल पर विचार करें।

दंड बहुत उपयोग नहीं किया जाता है और अक्सर की जगह एल 1 आदर्श गणितीय अधिक लचीला है कि।$L_0$$L_1$

नियमितीकरण संपत्ति एक विरल मॉडल बनाने के लिए है। इसका मतलब है कि केवल कुछ चर में एक गैर 0 प्रतिगमन गुणांक होगा। यह विशेष रूप से उपयोग किया जाता है यदि आप मानते हैं कि केवल कुछ चर आउटपुट चर पर वास्तविक प्रभाव डालते हैं। यदि बहुत सहसंबद्ध चर हैं, तो इनमें से केवल एक को गैर 0 गुणांक के साथ चुना जाएगा।$L_1$

दंड जैसा कि आप किसी मूल्य जोड़ने है λ इनपुट मैट्रिक्स की विकर्ण पर। इसका उपयोग उन परिस्थितियों में उदाहरण के लिए किया जा सकता है जहां चरों की संख्या नमूनों की संख्या से बड़ी है। एक वर्ग मैट्रिक्स प्राप्त करने के लिए। साथ एल 2 आदर्श दंड सभी चर गैर शून्य प्रतिगमन गुणांक है।$L_2$$\lambda$$L_2$

Comments

$L_0$$L_0$

Answer 2

@Donbeo के उत्तर के लिए कुछ अतिरिक्त

1) L0 आदर्श सही अर्थों में एक आदर्श नहीं है। यह एक वेक्टर में गैर शून्य प्रविष्टियों की संख्या है। यह मानदंड स्पष्ट रूप से उत्तल आदर्श नहीं है और सच्चे अर्थों में आदर्श नहीं है। इसलिए आप L0 'मानदंड' जैसे शब्द देख सकते हैं। यह एक जुझारू समस्या बन जाती है और इसलिए यह एनपी कठिन है।

2) L1 मानदंड एक विरल समाधान देता है (LASSO को देखें)। कैंडल, डोनोहो आदि द्वारा सेमिनल परिणाम हैं जो बताते हैं कि अगर सही समाधान वास्तव में विरल है तो एल 1 दंडित तरीके इसे पुनर्प्राप्त करेंगे। यदि अंतर्निहित समाधान विरल नहीं है, तो आपको मामलों में अंतर्निहित समाधान नहीं मिलेगा जब p >> n। अच्छे परिणाम हैं जो बताते हैं कि लास्सो सुसंगत है।

3) झोउ और हस्ती द्वारा इलास्टिक नेट जैसी विधियां हैं जो एल 2 और एल 1 दंडित समाधानों को जोड़ती हैं।