अंतरिक्ष में एक मनमाना बिंदु की ओर एल 2 नियमितीकरण को कैसे लागू किया जाए?

11

यहाँ कुछ मैंने इयान गुडफेलो की पुस्तक डीप लर्निंग में पढ़ा है ।

तंत्रिका नेटवर्क के संदर्भ में, "L2 पैरामीटर मानक जुर्माना आमतौर पर वजन क्षय के रूप में जाना जाता है। यह नियमितीकरण रणनीति मूल [...] के करीब वजन ड्राइव करती है। अधिक सामान्यतः, हम किसी भी विशिष्ट बिंदु के पास होने के लिए मापदंडों को नियमित कर सकते हैं। अंतरिक्ष में "लेकिन शून्य की ओर मॉडल मापदंडों को नियमित करना कहीं अधिक सामान्य है। (डीप लर्निंग, गुडफेलो एट अल।)

मैं सिर्फ उत्सुक हूँ। मैं समझता हूं कि केवल हमारे लागत समारोह में एक नियमित शब्द जोड़कर, और इस कुल लागत को कम करके हम मॉडल के मापदंडों को छोटे बने रहने के लिए प्रभावित कर सकते हैं: $J$

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

लेकिन कोई इस नियमितीकरण रणनीति के एक संस्करण को कैसे लागू करेगा जो किसी भी मनमाने बिंदु की ओर मापदंडों का नेतृत्व करेगा? (कहते हैं कि हम चाहते हैं कि मानदंड 5 की ओर बढ़े)

— julep
स्रोत

14

आप वास्तव में दो अलग-अलग प्रश्न पूछते हैं।

मानदंड में 5 का मतलब है कि आप चाहते हैं कि वज़न मूल के समीप एक हाइपरस्फेयर की सतह के पास हो। 5. यह नियमितीकरण कुछ इस तरह दिखता है

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

लेकिन आप इसके बजाय $\lambda \cdot\text{abs}(||w||_2^2-5)$ , मुझे लगता है।

दूसरी ओर, यदि आप एक मनमाना बिंदु की ओर बढ़ना चाहते हैं, तो आपको बस उस बिंदु को केंद्र रूप में उपयोग करने की आवश्यकता है $c$ ।

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— साइकोरैक्स का कहना है कि मोनिका को बहाल करो
स्रोत

(+1) मुझे लगता है कि "मानक पाँच को रुझान" के बारे में सोचने का एक उपयोगी तरीका ओपी द्वारा दिए गए के संस्करण में ट्यूनिंग पैरामीटर की पसंद के माध्यम से हो सकता है (फ़ंक्शन को बदलने के बजाय)

J

$J$

— user795305

(मैंने ऊपर बताए गए

— अर्थों

ऐसा करते समय एक सामान्य (व्यावहारिक) लक्ष्य जो कुछ ज्ञात ऑपरेटिंग बिंदु की ओर नियमित करना है जैसे पिछले मॉडल जिसे आप बदलना चाहते हैं, लेकिन जिसके लिए आप "सुचारू" संक्रमण चाहते हैं

— oDDsKooL

6

परिभाषित करेंहम जानते हैं कि पेनल्टी पेनल्टी के रूप में होने के कारण , का मूल है।

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

साइकोरैक्स बताता है कि, इसी तरह,यह सफल सामान्यीकरण हमें अनुमानक को प्रस्तावित करने के लिए ले जा सकता है जहाँ एक फ़ंक्शन है जिसका न्यूनतम उपयोग करने वाले कुछ संपत्ति को संतुष्ट करता है। वास्तव में, Sycorax लेता है , जहां (विशिष्ट रूप से) मूल में न्यूनतम है, और विशेष रूप से, । इसलिए , जैसा वांछित। दुर्भाग्य से, हालांकि, दोनों विकल्प $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ दंड के लिए नेतृत्व जो nonconvex हैं, अनुमान लगाने के लिए गणना करने के लिए मुश्किल हो।

उपरोक्त विश्लेषण सबसे अच्छा समाधान लगता है (शायद की पसंद तक , जिसके लिए मेरे पास सुझाव देने के लिए कोई बेहतर नहीं है) यदि हम " " पर जोर देते हैं तो "वर्णित" करने के लिए " " की अनूठी व्याख्या के रूप में। प्रश्न। हालाँकि, यह मानते हुए कि , कुछ मौजूद है ताकि ओपी की समस्या का कम से कम satsifes _ । इसलिएउद्देश्य समारोह को बदलने की आवश्यकता के बिना । यदि ऐसा कोई मौजूद नहीं है, तो कंप्यूटिंग की समस्या $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ आंतरिक रूप से कठिन है। वास्तव में, जब प्राकृतिक गुणों को प्रोत्साहित करने की कोशिश कर रहे हैं, तो अलावा किसी भी अनुमानक पर विचार करने की आवश्यकता नहीं है ।

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(यह लागू करने के लिए कि एक दंडित अनुमानक दंड का एक मूल्य प्राप्त करता है जो अनपेक्षित अनुमानकर्ता द्वारा प्राप्त नहीं किया जाता है, मेरे लिए अत्यधिक अप्राकृतिक लगता है। यदि किसी को किसी भी स्थान के बारे में पता है जहां यह वास्तव में वांछित है, तो कृपया टिप्पणी करें!)

— user795305
स्रोत

1

यह एक उत्कृष्ट जोड़ है। +1

— साइकोरैक्स का कहना है कि मोनिका

2

उपयुक्त इसे नकारात्मक लॉग-लाइकैलिटी के रूप में देखना संभव है और उपयुक्त डिस्ट्रिब्यूशन को पूर्व वितरण के लिए नकारात्मक लॉग-लाइबिलिटी के रूप में देखा जा सकता है। इस दृष्टिकोण को अधिकतम ए पोस्टवर्दी (एमएपी) कहा जाता है। $L$ $J$

एमएपी के प्रकाश में साइकोरैक्स के उदाहरणों को देखना आसान होना चाहिए।

एमएपी के विवरण के लिए आप इन नोटों को देख सकते हैं । मेरे अनुभव से गुगली 'अधिकतम एक पश्चगामी नियमितीकरण' अच्छे परिणाम देता है।

— जकुब बार्टिचुक
स्रोत