रिज रिग्रेशन के संदर्भ में लैग्रैन्जियम छूट

Question

"द एलीमेंट ऑफ स्टैटिस्टिकल लर्निंग" (2 थ एड), पी 63 में, लेखक रिज रिग्रेशन के निम्नलिखित दो सूत्र देते हैं:

$$\hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\}$$

तथा

$$\hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 \text{, subject to } \sum_{j=1}^p \beta_j^2 \leq t.$$

यह दावा किया जाता है कि दोनों समान हैं, और पैरामीटर और t के बीच एक-से-एक पत्राचार है ।$\lambda$$t$

ऐसा प्रतीत होता है कि पहला सूत्रीकरण दूसरे की लैग्रैजियन छूट है। हालाँकि, मुझे इस बात की सहज समझ नहीं थी कि लैग्रैन्जियन रिलैक्सेशन कैसे या क्यों काम करता है।

क्या यह प्रदर्शित करने का एक सरल तरीका है कि दो योग वास्तव में बराबर हैं? अगर मुझे चुनना है, तो मैं कठोरता पर अंतर्ज्ञान पसंद करूंगा।

धन्यवाद।

Comments

यदि आप केवल एक सहज व्याख्या चाहते हैं, तो इस वीडियो के 1.03.26 पर जाएं (अंत तक), इस बात का एक सहज स्पष्टीकरण है कि कैसे बाधाएं उद्देश्य फ़ंक्शन से संबंधित हैं।

— user603

Answer 1

पत्राचार को सबसे आसानी से लिफाफा प्रमेय का उपयोग करके दिखाया जा सकता है ।

$\lambda \cdot t$$\lambda$

अब, यदि आप सम्मान के साथ पूर्ण Lagrangian को अलग करते हैं $t$, लिफाफा प्रमेय का कहना है कि आप के अप्रत्यक्ष प्रभावों को अनदेखा कर सकते हैं $t$ के माध्यम से $\beta$, क्योंकि आप एक अधिकतम पर हैं। आप के साथ छोड़ दिया जाएगा से Lagrange गुणक है$\lambda \cdot t$।

लेकिन इसका सहज अर्थ क्या है? चूंकि बाधा अधिकतम पर बांधती है, लैग्रैजियन के व्युत्पन्न, अधिकतम पर मूल्यांकन किया जाता है, मूल उद्देश्य को समाप्त करने के समान है। इसलिए लग्र गुणक छाया मूल्य - उद्देश्य के संदर्भ में मूल्य - वृद्धि द्वारा बाधा को आराम देता है$t$।

मुझे लगता है कि यह पत्राचार Hastie एट अल है। का जिक्र कर रहे हैं।