हम केवल और नियमितीकरण को क्यों देखते हैं लेकिन अन्य मानदंडों को नहीं?

मैं बस उत्सुक हूं कि आमतौर पर केवल और मानदंड नियमित क्यों हैं । क्या इस बात के प्रमाण हैं कि ये बेहतर क्यों हैं? $L_1$ $L_2$

lasso regularization ridge-regression

— user10024395
स्रोत

(+1) मैंने इस प्रश्न की विशेष रूप से जांच नहीं की है, लेकिन समान स्थितियों के साथ अनुभव से पता चलता है कि एक अच्छा गुणात्मक उत्तर हो सकता है: मूल रूप से दूसरे भिन्न होने वाले सभी मानदंड स्थानीय रूप से एक दूसरे के बराबर होंगे, जिनमें से मानक मानक है। अन्य सभी मानदंड मूल में भिन्न नहीं होंगे और गुणात्मक रूप से उनके व्यवहार को पुन: पेश करता है। यह सरगम को कवर करता है। वास्तव में, और मानदंड का एक रेखीय संयोजन मूल पर दूसरे क्रम के लिए किसी भी मानक का अनुमान लगाता है - और यह अवशिष्टों को बाहर किए बिना प्रतिगमन में सबसे अधिक मायने रखता है।

L^{2}

$L^2$

L^{1}

$L^1$

L^{1}

$L^1$

L^{2}

$L^2$

— whuber

हां: यह अनिवार्य रूप से टेलर की प्रमेय है।

— whuber

प्रश्न का परिसर गलत है: अन्य -norms का उपयोग किया जाता है, यद्यपि बहुत कम आम है।

ℓ_{p}

$\ell_p$

— फायरबग

रेखीय संयोजन कि @whuber उल्लेख अक्सर लोचदार नेट कहा जाता है ।

— लुका सिटी

इसके अलावा, Lp मानदंडों के बीच, भी बहुत अधिक माइलेज मिलता है।

L^{\infty}

$L^\infty$

— user795305

जवाबों:

@ व्हिबर की टिप्पणियों (*) के अलावा।

स्पार्सिटी के साथ हस्ती एट अल स्टैटिस्टिकल लर्निंग की किताब इस पर चर्चा करती है। वे "मानदंड" (उद्धरण चिह्नों) को भी उपयोग करते हैं क्योंकि यह सख्त गणितीय अर्थ (**) में एक आदर्श नहीं है, जो बस एक वेक्टर के गैर-अक्षीय घटकों की संख्या की गणना करता है। $L_0$

उस अर्थ में मानदंड का उपयोग चर चयन के लिए किया जाता है, लेकिन यह साथ मानदंड के साथ उत्तल नहीं है, इसलिए इसे अनुकूलित करना मुश्किल है। वे तर्क देते हैं (एक तर्क मुझे लगता है कि डोनोहो से संपीड़ित संवेदन में आता है) कि मानदंड, यानी, लस्सो, "मानदंड" ("सबसे अच्छा उपसमूह चयन का निकटतम उत्तल छूट") का सबसे अच्छा उत्तलता है । यह पुस्तक अन्य मानदंडों के कुछ उपयोगों का भी संदर्भ । साथ -norm में यूनिट बॉल इस तरह दिखता है $L_0$ $l_q$ $q<1$ $L_1$ $L_0$ $L_q$ $l_q$ $q<1$

(छवि विकिपीडिया से) जबकि लास्सो क्यों चर चयन प्रदान कर सकता है का एक सचित्र अन्वेषण

यह चित्र उपरोक्त संदर्भित पुस्तक से लिया गया है। आप देख सकते हैं कि लैस्सो मामले में (एक हीरे के रूप में तैयार की गई इकाई गेंद) यह बहुत अधिक संभावना है कि दीर्घवृत्त (चौकों का योग) आकृति पहले कोनों में से एक पर हीरे को छूएगी। गैर-उत्तल मामले (पहली इकाई गेंद का आंकड़ा) में यह और भी अधिक संभावना है कि दीर्घवृत्त और इकाई गेंद के बीच पहला स्पर्श कोनों में से एक पर होगा, इसलिए यह मामला लैसो की तुलना में चर चयन पर भी जोर देगा।

यदि आप Google में " विद नॉन- पेनल्टी" की करते हैं तो आपको जैसे जैसी गैर-उत्तल पेनल्टी के साथ कई करने होंगे । $l_q$ $q < 1$

(*) पूर्णता के लिए मैं यहां व्हीबर की टिप्पणियों में प्रतिलिपि करता हूं:

मैंने इस प्रश्न की विशेष रूप से जांच नहीं की है, लेकिन समान स्थितियों के साथ अनुभव से पता चलता है कि एक अच्छा गुणात्मक उत्तर हो सकता है: मूल रूप से दूसरे भिन्न होने वाले सभी मानदंड स्थानीय रूप से एक दूसरे के बराबर होंगे, जिनमें से मानक मानक है। अन्य सभी मानदंड मूल में भिन्न नहीं होंगे और गुणात्मक रूप से उनके व्यवहार को पुन: पेश करता है। यह सरगम को कवर करता है। वास्तव में, और मानदंड का एक रेखीय संयोजन मूल पर दूसरे क्रम के लिए किसी भी मानक का अनुमान है - और यह अवशिष्ट को बाहर किए बिना प्रतिगमन में सबसे अधिक मायने रखता है। $L_2$ $L_1$ $L_1$ $L_2$

(**) - "मानदंड" में समरूपता का अभाव है, जो मानदंडों के लिए स्वयंसिद्धों में से एक है। समरूपता का अर्थ है that। $l_0$ $\alpha \ge 0$ $\| \alpha x \| = \alpha \| x \|$

— kjetil b halvorsen
स्रोत

@kjetilbhalvorsen आपके गहन उत्तर के लिए धन्यवाद। मैं प्रश्न और शीर्षक के अनुरूप होने के लिए असामान्य सुपरस्क्रिप्ट को चुनता हूं। बेशक आप इसे अपनी पसंद के अनुसार लिख सकते हैं।

— फेरी

@kjetilbhalvorsen आप व्हीबर की टिप्पणी पर थोड़ा विस्तार कर सकते हैं? यह सर्वविदित है कि मानदंड मूल में भिन्न नहीं है ( उदाहरण के लिए ) पर विचार करें। यह स्पष्ट नहीं है कि मानदंडों के 'स्थानीय तुल्यता' से क्या मतलब है। संदर्भ की जरूरत है, कम से कम कहने के लिए।

L^{2}

$L^2$

x \mapsto | x |

$x \mapsto |x|$

— ओलिवियर

ऑलिवर The -norm मूल में भिन्न है, आप -norm के बारे में सोच रहे हैं ।

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

— फायरबग

@Firebug नहीं, मैं 1 आयाम में मानदंड के बारे में सोच रहा हूं , जो कि मानदंड के समान है। क्या मैं कुछ भूल रहा हूँ?

L^{2}

$L^2$

L^{1}

$L^1$

— ओलिवियर

@ ओलिवर ओह, तुम वास्तव में सही हो। मुझे गलत समझा गया, क्योंकि वर्ग -norm वास्तव में उपयोग किया जाता है, और यह हर जगह अलग है।

ℓ_{2}

$\ell_2$

— फायरबग

मुझे लगता है कि प्रश्न का उत्तर इस बात पर निर्भर करता है कि आप "बेहतर" कैसे परिभाषित करते हैं। अगर मैं सही व्याख्या कर रहा हूं, तो आप जानना चाहते हैं कि ऐसा क्यों है कि ये मानदंड अन्य विकल्पों की तुलना में इतने बार दिखाई देते हैं। इस मामले में, जवाब सरलता है। नियमितीकरण के पीछे अंतर्ज्ञान यह है कि मेरे पास कुछ वेक्टर हैं, और मैं चाहूंगा कि वेक्टर कुछ अर्थ में "छोटा" हो। आप एक वेक्टर के आकार का वर्णन कैसे करते हैं? खैर, आपके पास विकल्प हैं:

क्या आप गिनते हैं कि इसमें कितने तत्व हैं ? $(L_0)$
क्या आप सभी तत्वों ? $(L_1)$
क्या आप मापते हैं कि "तीर" कितना लंबा ? $(L_2)$
क्या आप सबसे बड़े तत्व के आकार का उपयोग करते हैं ? $(L_\infty)$

आप जैसे वैकल्पिक मानदंडों को नियोजित कर सकते हैं , लेकिन उनमें ऊपर की तरह अनुकूल, भौतिक व्याख्याएं नहीं हैं। $L_3$

इस सूची में, मानदंड कम से कम वर्गों की समस्याओं जैसी चीजों के लिए अच्छा, बंद-रूप विश्लेषणात्मक समाधान है। इससे पहले कि आपके पास असीमित कंप्यूटिंग शक्ति हो, कोई भी अधिक हेडवे नहीं बना पाएगा। मैं अनुमान लगाऊंगा कि "तीर की लंबाई" दृश्य आकार के अन्य उपायों की तुलना में लोगों के लिए अधिक आकर्षक है। भले ही आप नियमितीकरण के प्रकारों के लिए आपके द्वारा चुने गए आदर्शों को एक इष्टतम समाधान के साथ प्राप्त करते हैं, मुझे नहीं लगता कि ज्यादातर लोग क) इसके बारे में जानते हैं, या ख) अपनी समस्या को हल करते समय इसे गहराई से समझते हैं। इस बिंदु पर, मुझे उम्मीद है कि अधिकांश लोग का उपयोग करते क्योंकि यह "हर कोई करता है।" $L_2$ $L_2$

एक सादृश्य घातांक कार्य होगा, - यह भौतिकी, अर्थशास्त्र, सांख्यिकी, मशीन सीखने, या किसी अन्य गणितीय रूप से संचालित क्षेत्र में हर जगह शाब्दिक रूप से दिखाई देता है। मैं हमेशा के लिए आश्चर्यचकित था कि जीवन में सब कुछ घातीय द्वारा वर्णित क्यों लग रहा था, जब तक मुझे एहसास नहीं हुआ कि हम इंसानों के पास बस इतना नहीं है कि हमारी आस्तीन के लिए कई चालें चलें। बीजगणित और कैलकुलस करने के लिए घातांक में बहुत उपयोगी गुण होते हैं, और इसलिए वे वास्तविक दुनिया में कुछ मॉडल बनाने की कोशिश करते समय किसी भी गणितज्ञ के टूलबॉक्स में कार्य करने के लिए # 1 गो-टू होने का कार्य करते हैं। यह हो सकता है कि डिकॉयर्स टाइम जैसी चीजें एक उच्च-क्रम बहुपद द्वारा वर्णित "बेहतर" हैं, लेकिन उन लोगों के साथ बीजगणित करना अपेक्षाकृत कठिन है, और दिन के अंत में यह मायने रखता है कि आपकी कंपनी पैसा कमा रही है - घातीय है सरल और काफी अच्छा है। $e^x$

अन्यथा, आदर्श के चुनाव के बहुत ही व्यक्तिपरक प्रभाव होते हैं, और यह आपके ऊपर है कि समस्या को यह बताते हुए कि आप एक इष्टतम समाधान में क्या पसंद करते हैं। क्या आप अधिक ध्यान रखते हैं कि आपके समाधान वेक्टर के सभी घटक परिमाण में समान हैं, या यह कि सबसे बड़े घटक का आकार जितना संभव हो उतना छोटा हो? यह विकल्प आपके द्वारा हल की जा रही विशिष्ट समस्या पर निर्भर करेगा।

— लाल पांडा
स्रोत

ज्यादातर और मानदंडों को देखने का मुख्य कारण यह है कि वे अधिकांश वर्तमान अनुप्रयोगों को कवर करते हैं। उदाहरण के लिए, मानक मानदंड भी कहा जाता है , एक जाली आयताकार कनेक्टिंग मानदंड, जिसमें पूर्ण मान मान शामिल है । $L_1$ $L_2$ $L_1$

$L_2$ मानदंड, कम से कम वर्गों के अलावा, -space में यूक्लिडियन दूरी के $n$ साथ-साथ जटिल चर मानदंड भी हैं । इसके अलावा, तिखोनोव नियमितीकरण और रिज प्रतिगमन , अर्थात, अनुप्रयोग न्यूनतम करना , अक्सर मानदंड हैं। । $\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$ $L_2$

विकिपीडिया इन और अन्य मानदंडों के बारे में जानकारी देता है । एक उल्लेख । सामान्यीकृत मानदंड, मानदंड को एकसमान मानदंड भी कहा जाता है । $L_0$ $L_p$ $L_\infty$

— कार्ल
स्रोत