23

मैं नियमितीकरण पर साहित्य के माध्यम से देख रहा था, और अक्सर पैराग्राफ को देखता हूं जो गौसियन से पहले एल 2 विनियमन को जोड़ता है, और एल 1 शून्य पर केंद्रित लैप्लस के साथ।

मुझे पता है कि ये पुजारी कैसे दिखते हैं, लेकिन मुझे समझ में नहीं आता है, यह कैसे अनुवाद करता है, उदाहरण के लिए, रैखिक मॉडल में वजन। L1 में, अगर मैं सही तरीके से समझूं, तो हम विरल समाधानों की अपेक्षा करते हैं, अर्थात कुछ भार बिल्कुल शून्य तक धकेल दिए जाएंगे। और L2 में हमें छोटे वज़न मिलते हैं लेकिन शून्य वज़न नहीं।

लेकिन ऐसा क्यों होता है?

कृपया टिप्पणी करें कि क्या मुझे अधिक जानकारी प्रदान करने की आवश्यकता है या मेरी सोच का मार्ग स्पष्ट करें।

— दिमित्री स्मिरनोव
स्रोत

संबंधित: लस्सो पेनल्टी डबल एक्सपोनेंशियल (लाप्लास) से पहले के बराबर क्यों है?

— अमीबा का कहना है कि मोनिका

1

एक बहुत ही सरल सहज व्याख्या यह है कि L2 मानदंड का उपयोग करते समय दंड कम हो जाता है लेकिन L1 मानदंड का उपयोग करते समय नहीं। इसलिए यदि आप नुकसान के कार्य के मॉडल भाग को बराबर रख सकते हैं और आप ऐसा कर सकते हैं तो दो चर में से एक घटाकर बेहतर होगा कि L2 मामले में उच्च निरपेक्ष मान के साथ चर को कम किया जा सकता है लेकिन L1 मामले में नहीं।

— परीक्षक

21

माध्यिका (या L1 मानदंड) से पहले लाप्लास वितरण के संबंध को लाप्लास ने स्वयं पाया था, जिन्होंने पाया था कि इस तरह के पूर्व का उपयोग आप सामान्य वितरण के साथ औसत के बजाय औसतन का अनुमान लगाते हैं (देखें स्टिंगलर, 1986 या विकिपीडिया )। इसका मतलब यह है कि लैप्लस त्रुटियों के वितरण के साथ प्रतिगमन औसत दर्जे का अनुमान लगाता है (जैसे उदाहरण मात्रात्मक प्रतिगमन), जबकि सामान्य त्रुटियां ओएलएस अनुमान का संदर्भ देती हैं।

$t$

ऐसे पुजारियों का उपयोग करने से आपको कई शून्य-मूल्यवान गुणांक, कुछ मध्यम-आकार और कुछ बड़े-आकार (लंबी पूंछ) के साथ समाप्त होने का खतरा होता है, जबकि सामान्य से पहले आपको अधिक मध्यम-आकार के गुणांक मिलते हैं जो कि बिल्कुल शून्य नहीं होते हैं, लेकिन शून्य से भी दूर नहीं।

(छवि स्रोत तिब्शीरानी, 1996)

स्टिगलर, एसएम (1986)। सांख्यिकी का इतिहास: 1900 से पहले अनिश्चितता का मापन। कैम्ब्रिज, एमए: हार्वर्ड यूनिवर्सिटी प्रेस के बेलकनैप प्रेस।

टिबशिरानी, आर। (1996)। कमंद के माध्यम से प्रतिगमन संकोचन और चयन। रॉयल स्टैटिस्टिकल सोसाइटी का जर्नल। सीरीज़ बी (मेथेडोलॉजिकल), 267-288।

जेलमैन, ए।, जक्यूलिन, ए।, पिटौ, जीएम, और सु, वाई.-एस। (2008)। लॉजिस्टिक और अन्य प्रतिगमन मॉडल के लिए एक कमजोर सूचनात्मक डिफ़ॉल्ट पूर्व वितरण। द एनल्स ऑफ एप्लाइड स्टैटिस्टिक्स, 2 (4), 1360-1383।

नॉर्टन, आरएम (1984)। डबल एक्सपोनेंशियल डिस्ट्रीब्यूशन: कैलकुलस का उपयोग करके अधिकतम संभावना अनुमानक का पता लगाएं। द अमेरिकन स्टेटिस्टिशियन, 38 (2): 135-136।

— टिम
स्रोत

वाह, यह बहुत अच्छी व्याख्या है, और लिंक किए गए प्रश्न के लिए भी विशेष धन्यवाद जहां नियमितीकरण मानदंड सहज रूप से मोड, मीडियन और माध्य से जुड़े हैं, यह वास्तव में मेरे लिए बहुत कुछ स्पष्ट करता है!

— दिमित्री स्मिरनोव

1

@ तैम, द कॉची डिस्ट्रीब्यूशन में हेवी टेल है फिर भी जीरो के लिए संभावना सामान्य वितरण से कम है। तो यह कैसे विरल समाधान प्रेरित करते हैं?

— रॉय

5

बार-बार देखने वाला 👀

एक अर्थ में, हम दोनों नियमितताओं को "वजन कम करने" के रूप में सोच सकते हैं ; L2 वज़न के यूक्लिडियन मान को कम करता है, जबकि L1 मैनहट्टन के मान को कम करता है। इस विचारधारा का अनुसरण करते हुए, हम यह तर्क दे सकते हैं कि L1 और L2 के उपसंहार क्रमशः गोलाकार और हीरे के आकार के होते हैं, इसलिए L1 में विरल समाधान पैदा होने की अधिक संभावना है, जैसा कि बिशप के पैटर्न मान्यता और मशीन लर्निंग में सचित्र है :

बायसियन दृश्य 👀

हालांकि, यह समझने के लिए कि पुजारी रैखिक मॉडल से कैसे संबंधित हैं , हमें साधारण रेखीय प्रतिगमन की बायेसियन व्याख्या को समझने की आवश्यकता है । कैथरीन बेली का ब्लॉगपोस्ट इसके लिए एक उत्कृष्ट रीड है। संक्षेप में, हम अपने रैखिक मॉडल में सामान्य रूप से वितरित आईआईडी त्रुटियों को मानते हैं

y = θ^{⊤} X + ϵ

$\mathbf{y} = \mathbf{\theta}^\top\mathbf{X} + \mathbf\epsilon$

$N$ $y_i, i = 1, 2, \ldots, N$ $\epsilon_k\sim \mathcal{N}(0,\sigma)$

$\mathbf{y}$

p (y | X, θ; ϵ) = N (θ^{⊤} X, σ)

$\begin{equation} p(\mathbf{y}|\mathbf{X}, \mathbf{\theta}; \mathbf{\epsilon}) = \mathcal{N}(\mathbf{\theta}^\top\mathbf{X}, \mathbf{\sigma}) \end{equation}$

जैसा कि यह पता चला है ... अधिकतम संभावना अनुमानक त्रुटि के लिए सामान्य धारणा के तहत अनुमानित और वास्तविक आउटपुट मानों के बीच चुकता त्रुटि को कम करने के समान है।

\begin{aligned} {\hat{θ}}_{MLE} & = \arg max_{θ} \log P (y | θ) \\ = \underset{θ}{\arg min} \sum_{i = 1}^{n} (y_{i} - θ^{⊤} x_{i})^{2} \end{aligned}

$\begin{align*} {\bf \hat{\theta}_{\text{MLE}}} &= \arg\max_{\bf \theta} \log P(y | \theta) \\ &=\underset{\theta}{\arg\min} \sum_{i=1}^n(y_i - \theta^\top{\mathbf{x}_i})^2 \end{align*}$

वजन पर पुजारियों के रूप में नियमितीकरण

यदि हम रेखीय प्रतिगमन के भार से पहले एक गैर-वर्दी को रखने के लिए थे, तो अधिकतम पोस्टीरियर संभावना (एमएपी) अनुमान होगा:

{\hat{θ}}_{MAP} = \arg max_{θ} \log P (y | θ) + \log P (θ)

$\begin{equation*} {\bf \hat{\theta}_{\text{MAP}}} = \arg\max_{\bf \theta} \log P(y | \theta) + \log P(\theta) \end{equation*}$

के रूप में प्राप्त किया ब्रायन केंग के ब्लॉग पोस्ट , अगर एक लाप्लास वितरण यह बराबर है एल 1 नियमितीकरण के लिए पर है । $P(\theta)$ $\theta$

इसी तरह, यदि एक गौसियन डिस्ट्रीब्यूशन है, तो यह पर L2 नियमितीकरण के बराबर है । $P(\theta)$ $\theta$

अब हमारे पास एक और विचार है कि भार पर पूर्व में लाप्लास लगाने से स्पार्सिटी को प्रेरित करने की अधिक संभावना क्यों है: क्योंकि लाप्लास वितरण शून्य के आसपास अधिक केंद्रित है , हमारे वजन शून्य होने की अधिक संभावना है।

— क्रिस्टाबेला इर्वेंटो
स्रोत

लाप्लास पूर्व में विरल समाधान क्यों पैदा कर रहा है?

बार-बार देखने वाला 👀

बायसियन दृश्य 👀

वजन पर पुजारियों के रूप में नियमितीकरण