L2 पर L1 नियमितीकरण का उपयोग क्यों किया जाता है?

10

हानि फ़ंक्शन का उपयोग करके एक रैखिक प्रतिगमन मॉडल का संचालन करना, मुझे नियमितीकरण के बजाय उपयोग क्यों करना चाहिए ? $L_1$ $L_2$

क्या ओवरफिटिंग को रोकना बेहतर है? क्या यह निर्धारक है (इसलिए हमेशा एक अनूठा समाधान)? क्या यह सुविधा चयन में बेहतर है (क्योंकि विरल मॉडल का निर्माण)? क्या यह सुविधाओं के बीच वजन को फैलाता है?

linear-regression regularization

— astudentofmaths
स्रोत

2

L2 परिवर्तनशील चयन नहीं करता है, इसलिए L1 इस पर निश्चित रूप से बेहतर है।

— माइकल एम

1

stats.stackexchange.com/questions/866/...

— HelloWorld

5

मूल रूप से, हम गुणांक को रोकने के लिए एक नियमितीकरण शब्द जोड़ते हैं ताकि ओवरफिट को पूरी तरह से फिट किया जा सके।

L1 और L2 के बीच का अंतर L1 वजन का योग है और L2 वजन के वर्ग का योग है।

L1 को ग्रेडिएंट-आधारित दृष्टिकोणों में उपयोग नहीं किया जा सकता है क्योंकि यह L2 के विपरीत भिन्न नहीं है

L1 स्पार्स फ़ीचर स्पेस में फ़ीचर सेलेक्शन करने में मदद करता है। फ़ीचर सलेक्शन यह जानना है कि कौन से फ़ीचर मददगार हैं और कौन से बेमानी हैं।

उनके गुणों के बीच अंतर को संक्षेप में प्रस्तुत किया जा सकता है:

— बथिनी प्रणय कुमार
स्रोत

1

यह सच नहीं है कि "L1 का उपयोग ढाल-आधारित दृष्टिकोणों में नहीं किया जा सकता है"। उदाहरण के लिए केरस इसका समर्थन करता है । हां, व्युत्पन्न हमेशा स्थिर होता है इसलिए यह न्यूनतम को खोजने के लिए ढाल वंश के लिए कठिन बनाता है। लेकिन नुकसान के कार्य के भीतर नियमितीकरण एक छोटा शब्द है, इसलिए चीजों की भव्य योजना में यह बहुत महत्वपूर्ण नहीं है।

— रिकार्डो क्रूज़

-1

L2 का L1 के लिए एक बहुत ही महत्वपूर्ण लाभ है, और यह रोटेशन और स्केल के लिए विपरीत है।

यह भौगोलिक / भौतिक अनुप्रयोग में विशेष रूप से महत्वपूर्ण है।

कहें कि आपके तकनीशियन ने गलती से आपके सेंसर को 45 डिग्री परी में स्थापित किया है, तो L1 प्रभावित होगा, जबकि L2 (यूक्लिडियन दूरी) समान रहेगा।

— चट्टी देनती
स्रोत

4

यह सवाल का जवाब नहीं है।

— kbrose

क्या आप आक्रमणकारी को समझा सकते हैं, कृपया?

— अनीश जोशी

@Chati, सवाल नियमितीकरण के बारे में है। आप इसे नुकसान कार्यों में 1-मानदंड और 2-मान के अन्य उपयोगों के साथ भ्रमित कर रहे हैं।

— रिकार्डो क्रूज़