मानदंड क्या हैं और वे नियमितीकरण के लिए कैसे प्रासंगिक हैं?

मैं विरल निरूपण पर हाल ही में बहुत सारे कागज देख रहा हूं, और उनमें से अधिकांश मानदंड का उपयोग करते हैं और कुछ कम से कम करते हैं। मेरा प्रश्न यह है कि, मानदंड क्या है , और मिश्रित मानदंड है? और वे नियमितीकरण के लिए कैसे प्रासंगिक हैं? $\ell_p$ $\ell_p$ $\ell_{p, q}$

धन्यवाद

machine-learning regularization sparse

— पानी
स्रोत

$\ell_p$ मानदंड वे कार्य हैं जो वैक्टर लेते हैं और नंबर लौटाते हैं। वे रूप में परिभाषित किए गए हैं मामले में जहां , यह है यूक्लिडियन मानदंड कहा जाता है। आप यूक्लिडियन दूरी को रूप में परिभाषित कर सकते हैं । जब , इसका मतलब सिर्फ (या ) है। कड़ाई से बोलते हुए, को कम से कम एक के लिए होना चाहिए एक आदर्श होने के लिए । अगर , तो

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ वास्तव में एक मानक नहीं है, क्योंकि मानदंडों को त्रिकोण असमानता को पूरा करना चाहिए।

( मानदंड भी हैं, जिन्हें से परिभाषित किया गया है, केवल वैक्टर या अनुक्रम के बजाय कार्यों को छोड़कर - वास्तव में यह एक ही बात है, क्योंकि वैक्टर परिमित डोमेन के साथ कार्य करते हैं।) $L_p$

मैं मशीन लर्निंग एप्लिकेशन में एक मानक के लिए किसी भी उपयोग के बारे में नहीं जानता , जहां , जहां को छोड़कर । आमतौर पर आप या , या कभी-कभी जहां आप मामले को आराम करना चाहते हैं ; कड़ाई से में उत्तल नहीं होता है , लेकिन लिए है । यह कुछ मामलों में समाधान को "आसान" बना सकता है। $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

नियमितिकरण के संदर्भ में, यदि आप अपने उद्देश्य फ़ंक्शन में जोड़ते हैं, तो आप जो कह रहे हैं, वह यह है कि आप को विरल होने की उम्मीद करते हैं , अर्थात ज्यादातर शून्य से बना है। यह थोड़ा तकनीकी है, लेकिन मूल रूप से, अगर घने समाधान है, तो एक ही मानक के साथ एक विरल समाधान होने की संभावना है। यदि आप अपने समाधान के सघन होने की उम्मीद करते हैं, तो आप अपने उद्देश्य में जोड़ सकते हैं , क्योंकि तब इसके व्युत्पन्न के साथ काम करना बहुत आसान है। दोनों बहुत अधिक वजन होने से समाधान रखने के उद्देश्य से सेवा करते हैं। $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

मिश्रित मानदंड तब आता है जब आप कई स्रोतों को एकीकृत करने की कोशिश कर रहे होते हैं। मूल रूप से आप चाहते हैं कि सॉल्यूशन वेक्टर कई टुकड़ों , जहाँ किसी स्रोत का सूचकांक है। आदर्श बस है सभी की -norm एक सदिश में एकत्र -norms। Ie, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

इसका उद्देश्य समाधानों के एक सेट को "ओवरस्पर्शिफाई" करना नहीं है, का उपयोग करके कहें । अलग-अलग टुकड़े विरल हैं, लेकिन आप सभी समाधानों का -norm लेकर संपूर्ण सॉल्यूशन वेक्टर को देखने का जोखिम नहीं उठाते हैं। इसलिए आप इसके बजाय -norm का उपयोग बाहर की तरफ करें। $\|\vec x\|_{1,2}$ $1$ $2$

उम्मीद है की वो मदद करदे।

देखें इस पत्र अधिक जानकारी के लिए।

— जोसफीन म्यूलर
स्रोत

मिश्रित मानदंडों की व्याख्या के लिए +1। मैंने उन्हें कभी खुद नहीं समझा।

— सुरेश वेंकटसुब्रमण्यन जू।

(+1) अच्छा जवाब। CrossValidated, जॉन में आपका स्वागत है!

— मॉन्सट जूल