Lambda और बीच LASSO संबंध

Question

LASSO प्रतिगमन की मेरी समझ यह है कि प्रतिगमन गुणांक को कम करने की समस्या को हल करने के लिए चुना जाता है:

$$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$$

व्यवहार में यह एक लैगेंज गुणक का उपयोग करके किया जाता है, जिससे समस्या को हल किया जा सकता है

$$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$$

$\lambda$ और t के बीच क्या संबंध है$t$ ? विकिपीडिया अनजाने में केवल "डेटा आश्रित" है।

मुझे क्यों परवाह है? सबसे पहले बौद्धिक जिज्ञासा के लिए। लेकिन मैं क्रॉस- $\lambda$ द्वारा \ lambda के चयन के परिणामों के बारे में भी चिंतित हूं ।

विशेष रूप से, अगर मैं n- गुना क्रॉस सत्यापन कर रहा हूं, तो मैं अपने प्रशिक्षण डेटा के अलग-अलग विभाजन के लिए अलग-अलग मॉडल फिट करता हूं। मैं फिर किसी दिए गए लैम्ब्डा के अप्रयुक्त डेटा पर प्रत्येक मॉडल की सटीकता की तुलना करता हूं $\lambda$। लेकिन समान $\lambda$ अर्थ है कि डेटा के विभिन्न सबसेट के लिए एक अलग बाधा ( $t$ ) है (यानी, $t=f(\lambda)$ "डेटा निर्भर")।

क्या क्रॉस सत्यापन समस्या नहीं है जो मैं वास्तव में सबसे अच्छा पूर्वाग्रह-सटीकता व्यापार बंद करने वाले टी को खोजने के लिए हल करना चाहता हूं $t$?

मैं प्रत्येक क्रॉस-मान्यता विभाजन और \ lambda के लिए और परिणामी वितरण को देखकर \ _ \ _ \ _ | _1 की गणना करके अभ्यास में इस आशय के आकार का एक मोटा विचार प्राप्त कर सकता हूं । कुछ मामलों में निहित बाधा ( टी ) मेरे क्रॉस-वैरिफिकेशन सबसेट में पर्याप्त रूप से शांत हो सकती है। जहाँ पर्याप्त रूप से मेरा तात्पर्य t >> 0 में भिन्नता के गुणांक से है ।$\|\beta\|_1$$\lambda$$t$$t>>0$

Comments

अस्पष्टीकृत डाउनवोट को रद्द करने के लिए अपवोट करना। मेरी विशेषज्ञता के बाहर प्रश्न अच्छी तरह से है लेकिन यह यथोचित रूप से तैयार है।

— mkt -

Answer 1

यह रिज प्रतिगमन के लिए मानक समाधान है :

$$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$$

हम यह भी जानते हैं कि , इसलिए यह सच होना चाहिए$\| \beta \| = t$

$$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$$ ।

जो लिए हल करना आसान नहीं है ।$\lambda$

गणना: आपका सबसे अच्छा शर्त सिर्फ आप क्या कर रहे कर रखना है एकाधिक भर में डेटा का एक ही उप नमूने पर मूल्यों।$t$$\lambda$