केएसटी बनाम लस्सो प्रतिगमन का अप्रशिक्षित सूत्रीकरण

एल 1 दंडित प्रतिगमन (उर्फ लासो) दो योगों में प्रस्तुत किया गया है। बता दें कि दो उद्देश्य कार्य फिर दो अलग-अलग फॉर्मूलेशन हैं अधीन और, समतुल्य रूप से करुश-कुह्न-टकर (केकेटी) स्थितियों का उपयोग करना, यह देखना आसान है कि पहले सूत्रीकरण के लिए स्थिर स्थिति दूसरी सूत्रीकरण के ढाल लेने और इसे 0 के बराबर स्थापित करने के बराबर है। मुझे क्या मिल सकता है, न ही यह पता लगाना , पहले फॉर्मूलेशन के लिए पूरक सुस्त स्थिति कैसे है,

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , दूसरे सूत्रीकरण के समाधान से पूरा होने की गारंटी है।

regression lasso penalized

— goodepic
स्रोत

जवाबों:

दो सूत्रीकरण इस अर्थ में समतुल्य हैं कि पहले निरूपण में प्रत्येक मान के लिए, दूसरे सूत्रीकरण के लिए का मान मौजूद होता है जैसे कि दोनों योगों में एक ही न्यूनतम । $t$ $\lambda$ $\beta$

यहाँ औचित्य है:

लैसो तैयार करने पर विचार करें: minimizer हो और चलो । मेरा दावा है कि यदि आप पहले फॉर्मूलेशन में सेट करते हैं, तो पहले फॉर्मूलेशन का समाधान भी । यहाँ सबूत है:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

पहले सूत्रीकरण पर विचार करें यदि संभव हो तो इस दूसरे सूत्रीकरण का एक समाधान है ऐसा कि (हस्ताक्षर से सख्ती से कम ध्यान दें)। फिर यह देखना आसान है कि इस तथ्य का खंडन करता है कि लसो के लिए एक समाधान है। इस प्रकार, पहले सूत्रीकरण का समाधान भी ।

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

बाद से , पूरक सुस्त स्थिति समाधान बिंदु पर संतुष्ट है । $t=b$ $\beta^*$

तो, साथ एक लैस्सो फॉर्मूलेशन को देखते हुए , आप lasso सॉल्यूशन के मान के मान के बराबर का उपयोग करके एक विवश फॉर्मूला हैं। इसके विपरीत, साथ एक विवश सूत्रीकरण को देखते हुए , आप एक पाते हैं जैसे कि लस्सो का समाधान विवश निरूपण के समाधान के बराबर होगा। $\lambda$ $t$ $l_1$ $t$ $\lambda$

(यदि आप उपग्रहों के बारे में जानते हैं, तो आप समीकरण , जहां हल करके इस को पा सकते हैं। $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
स्रोत

अति उत्कृष्ट। एक बार जब आप उस समाधान को देख लेते हैं, तो आप हमेशा खुद को वहां नहीं पाने के लिए गूंगा महसूस करते हैं। मेरा मानना है कि विरोधाभास को खोजने में, मान लीजिए कि हम एक ऐसे पाते हैं कि ?

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— गोपीपिक

सही रूप में जवाब flaggin पर विचार करें

— bdeonovic

क्या आप विस्तृत कर सकते हैं कि क्यों

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

यह साबित करता है कि पहले सूत्रीकरण के समाधान के लिए बी का एल 1-मान भी होना चाहिए। यह कैसे साबित होता है कि दो समाधान वास्तव में एक ही हैं?

— ब्रोंकोएबिरटो

इसके अतिरिक्त, लैस्सो में हमेशा एक अनूठा समाधान नहीं होता है, इसलिए हम न्यूनतम करने के लिए संदर्भित नहीं कर सकते हैं । arxiv.org/pdf/1206.0313.pdf । हम, हालांकि, मिनिमाइज़र के सेट का उल्लेख कर सकते हैं और दिखा सकते हैं कि कुछ उस सेट से संबंधित होना चाहिए।

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— ब्रोंकोएबिरटो

मुझे लगता है कि इस सबूत के लिए इलेक्सॉबी का विचार एक अच्छा है, लेकिन मुझे नहीं लगता कि यह पूरी तरह से सही है।

यह दिखाते हुए कि पहले सूत्रीकरण के लिए, " , जैसे कि का अस्तित्वएक विरोधाभास की ओर जाता है, हम केवल की आवश्यकता मान सकते हैं, वह । $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

मैं सुझाव देता हूं कि इसके बजाय, हम इस प्रकार आगे बढ़ते हैं:

सुविधा के लिए, और द्वारा क्रमशः पहले और दूसरे सूत्रीकरण को निरूपित करते हैं। मान हैं कि का एक अनूठा समाधान है, , with । चलो एक समाधान है, । फिर, हमारे पास उस(यह बाधा के कारण अधिक नहीं हो सकता) और इसलिए । यदि तो का समाधान नहीं है , जो हमारी धारणाओं का खंडन करता है। यदि $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ तब से , क्योंकि हमने समाधान को अद्वितीय माना। $\hat{\beta} = \beta^*$

हालांकि, यह मामला हो सकता है कि लास्सो के पास कई समाधान हैं। की लेम्मा 1 तक arxiv.org/pdf/1206.0313.pdf हम जानते हैं कि इन समाधानों में से सभी एक ही है -norm (और एक ही न्यूनतम मूल्य, निश्चित रूप से)। हम उस मानक को लिए बाधा के रूप में सेट करते हैं और आगे बढ़ते हैं। $\ell 1$ $P_1$

द्वारा समाधानों के सेट को , । चलो एक समाधान है, । फिर, हमारे पास उस और इसलिए । यदि कुछ (और इसलिए उन सभी के लिए) में है, तो , जो हमारी मान्यताओं का खंडन करता है। यदि कुछ लिए तो समाधान का समुच्चय नहीं है $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ । इसलिए, के लिए हर समाधान में है यानी के लिए किसी भी समाधान भी करने के लिए एक समाधान है । यह साबित होता रहेगा कि पूरक भी धारण करता है। $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
स्रोत