नियमितीकरण और लैगेंज मल्टीप्लायरों की विधि के बीच क्या संबंध है?

Question

ओवरफिटिंग से बचने के लिए लोग रेगुलराइजेशन टर्म (मॉडल के मापदंडों के वर्ग योग के समानुपातिक) को रेगुलराइजेशन पैरामीटर के साथ लीनियर रिग्रेशन की लागत फ़ंक्शन के साथ जोड़ते हैं । इस पैरामीटर है λ एक lagrange गुणक के रूप में एक ही? तो क्या लैगेंज मल्टीप्लायर की विधि के समान ही नियमितीकरण है? या ये तरीके कैसे जुड़े हैं? $\lambda$$\lambda$

Answer 1

हम मानकों के साथ एक मॉडल अनुकूलित कर रहे हैं कहो , कुछ कसौटी कम करके च ( → θ ) पैरामीटर वेक्टर की भयावहता पर एक बाधा के अधीन (उदाहरण के लिए एक को लागू करने के संरचनात्मक जोखिम न्यूनीकरण दृष्टिकोण को बढ़ाने की मॉडल की एक नेस्टेड सेट का निर्माण करके जटिलता), हमें हल करने की आवश्यकता होगी:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

इस समस्या के लिए अंतराल (चेतावनी: मुझे लगता है, इसका दिन बहुत लंबा रहा है ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

इसलिए यह आसानी से देखा जा सकता है कि एक नियमित लागत फ़ंक्शन नियमित रूप से कसैले अनुकूलन समस्या से संबंधित है, नियमितीकरण पैरामीटर के साथ लगातार कसना ( ) को नियंत्रित करने से संबंधित है , और अनिवार्य रूप से लैगरेंज गुणक है। $\lambda$$C$

यह दर्शाता है कि रिज रिग्रेशन क्यों संरचनात्मक जोखिम को कम करता है: वजन सदिश के परिमाण में एक बाधा डालने के बराबर है और यदि तो हर उस मॉडल को बनाया जा सकता है जो का पालन करते हुए बनाया जा सकता है$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

बाधा के तहत भी उपलब्ध होगा

$\|\vec{\theta}\|^2 < C_1$ ।

इसलिए को कम करना बढ़ती जटिलता की परिकल्पना स्थानों के अनुक्रम को उत्पन्न करता है।$\lambda$