सांख्यिकीविदों का क्या मतलब है जब वे कहते हैं कि हम वास्तव में यह नहीं समझते कि LASSO (नियमितीकरण) कैसे काम करता है?

Question

मैं हाल ही में लास्सो (नियमितीकरण) पर कुछ आंकड़ों की वार्ता में आया हूं और एक बिंदु जो सामने आता है वह यह है कि हम वास्तव में यह नहीं समझते हैं कि लास्सो क्यों काम करता है या यह इतनी अच्छी तरह से क्यों काम करता है। मैं सोच रहा हूं कि इस कथन का क्या जिक्र है। जाहिर है मैं समझता हूं कि मापदंडों के संकोचन द्वारा ओवरफिटिंग की रोकथाम के तरीके के कारण, लासो तकनीकी रूप से क्यों काम करता है, लेकिन मैं सोच रहा हूं कि क्या इस तरह के बयान के पीछे कोई गहरा अर्थ है। क्या किसी के पास कोई विचार है? धन्यवाद!

Comments

"काम करता है" को परिभाषित करें। काम करने के लिए क्या, बिल्कुल? विरलता बढ़ाने के लिए काम करता है? ओवरफिटिंग को रोकने के लिए काम करता है? उचित सांख्यिकीय परीक्षणों का निर्माण करने के लिए काम करता है? - या इसे दूसरे तरीके से रखने के लिए, इस संदर्भ में "काम नहीं करेगा" क्या मतलब है? - जैसा कि आप वर्तमान उत्तर पर टिप्पणियों से देख सकते हैं, वहाँ कुछ भ्रम है कि आप क्या कर रहे हैं।

— आरएम

@ आरएम, आप वास्तव में ओपी, आईएमएचओ को रीफ़्रेश कर रहे हैं। ओपी शायद उसी अज्ञात के बाद है जिस पर आपको पहचानने में परेशानी होती है।

— रिचर्ड हार्डी

@ रीचर्डहार्डी मैं देखता हूं कि ऐसा कैसे हो सकता है, लेकिन अगर ऐसा है, तो मुझे उम्मीद है कि ओपी कम से कम उन आंकड़ों की वार्ता में संदर्भ पर विस्तार कर सकता है जिसमें बिंदु सामने आया था, उम्मीद है कि उन वक्ताओं पर ध्यान केंद्रित करने में हमारी मदद करने के लिए सोच रहा था

— आरएम

@ आरएम, अच्छा तो।

— रिचर्ड हार्डी

Answer 1

काम करने वाले सांख्यिकीविदों और सीखने के सिद्धांत समुदाय के बीच कभी-कभी संचार की कमी होती है जो लसो जैसी विधियों की नींव का अध्ययन करते हैं। लासो के सैद्धांतिक गुण वास्तव में बहुत अच्छी तरह से समझे जाते हैं।

इस दस्तावेज़ में कई संपत्तियों में से एक है जिसमें इसका आनंद मिलता है। परिणाम काफी तकनीकी हैं, लेकिन अनिवार्य रूप से:

• यह उच्च संभावना वाले बड़े डेटासेट्स के लिए कुछ हल्के अनुमानों के तहत एक विरल भार वेक्टर के सच्चे समर्थन (गैर-शून्य प्रविष्टियों का सेट) को ठीक करता है।
• $X$

Answer 2

यदि यह समझने से कि लस्सो क्यों काम करता है, तो आप समझ रहे हैं कि यह फीचर चयन क्यों करता है (यानी कुछ विशेषताओं के लिए वजन को 0 पर सेट करना), हम समझते हैं कि बहुत अच्छी तरह से:

Comments

एक अच्छा चित्रण के लिए धन्यवाद, लेकिन मुझे संदेह है कि ओपी भाग में कोई दिलचस्पी नहीं है। बेशक, यह स्पष्ट करने के लिए ओपी पर निर्भर है।

— रिचर्ड हार्डी

मैं आपके चित्र के बिंदु (ओं) को नहीं समझता।

— बजे माइकल आर। चेरिक

$L_1$$\hat \lambda$

@Chaconne, आपके अंक एक उत्तर के लिए एक महान आधार बनाते हैं!

— रिचर्ड हार्डी

@Chaconne, लसो के बारे में हम क्या समझते हैं, इसकी पहचान करके यह उपयोगी चर्चा उत्पन्न करता है !

— rinspy

Answer 3

मॉडल चयन स्थिरता (जो कि सांख्यिकीविदों द्वारा उत्तर दिया गया है ) की साइन रिकवरी की समस्या है , और

वहाँ अनुमान की समस्या है (अनुमानों के लिए अच्छे आत्मविश्वास के अंतराल का निर्माण), जो कि शोध का विषय है।

अधिकांश कार्य "सीखने के सिद्धांत समुदाय" के बजाय सांख्यिकीविदों द्वारा किया जाता है।

Comments

जो पहले से ही दिया गया था, उसे यह कैसे जोड़ता है?

— माइकल आर। चेरिक

किसी ने भी यहां अनुमान की समस्या का उल्लेख नहीं किया है, जो मुझे विश्वास है कि यही कारण है कि दावा ("यह अच्छी तरह से समझा नहीं गया है") पहले स्थान पर बना था।

— गाओ झेंग