क्या स्थिति का एक स्पष्ट सेट है जिसके तहत लसो, रिज, या लोचदार शुद्ध समाधान पथ मोनोटोन हैं?

यह सवाल कि इस लास्सो प्लाट (ग्लमैनेट) से क्या निष्कर्ष निकलता है , लसो अनुमानक के लिए समाधान पथ प्रदर्शित करता है जो कि मोनोटोनिक नहीं है। यही है, कुछ ताबूत सिकुड़ने से पहले निरपेक्ष मूल्य में बढ़ते हैं।

मैंने इन मॉडलों को कई अलग-अलग प्रकार के डेटा सेटों पर लागू किया है और इस व्यवहार को "जंगली में" कभी नहीं देखा है और आज तक यह मान लिया था कि वे हमेशा एकरस थे ।

क्या स्थितियों का एक स्पष्ट सेट है जिसके तहत समाधान पथ को एकरस होने की गारंटी है? क्या यह परिणामों की व्याख्या को प्रभावित करता है यदि पथ दिशा बदलते हैं?

lasso ridge-regression elastic-net

— shadowtalker
स्रोत

किस अर्थ में मोनोटोन? यह मेरे लिए बहुत सार्थक नहीं लगता अगर आप इसे किसी फंक्शन के ग्राफ के रूप में मानना चाहते हैं।

— हेनरी।

@ हेनरी.एल इस प्रश्न को फिर से परिभाषित कर सकता है: जब निम्न सत्य हो: , हमारे पास वह फॉर ऑल , जहाँ । यही है, लैस्सो समान रूप से घटक को सिकोड़ता है। क्या आप कृपया स्पष्ट कर सकते हैं कि आपको क्या संदेह है?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

— user795305

ध्यान दें: जिस तरह से लसो के गुणांक को समझने का तरीका है वह इस प्रश्न और आँकड़े

— questions/

मुझे नहीं पता कि मैं इससे पहले कैसे चूक गया, इस सवाल का जवाब ओपी के जवाब में ऊपर दिए गए सवाल में अपने ही सवाल के जवाब में दिया गया है।

— 197 बजे user795305

मैं आपको एकरस होने के मार्ग के लिए एक पर्याप्त स्थिति दे सकता हूं : का एक असामान्य डिजाइन । $X$

मान लीजिए कि एक ऑर्थोनॉमिक डिज़ाइन मैट्रिक्स है, जो कि में वेरिएबल्स के साथ है , हमारे पास वह । एक असामान्य डिजाइन के साथ ओएलएस प्रतिगमन गुणांक केवल । $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

इस प्रकार LASSO के लिए करुश-ख़ून-टकर की स्थिति इस प्रकार सरल हो जाती है:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

जहां उप ग्रेडिएंट है। इसलिए, प्रत्येक हमारे पास वह , और हम हैं लैस्सो अनुमानों के लिए एक बंद फार्म समाधान है: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

जो में । जबकि यह एक आवश्यक शर्त नहीं है, हम देखते हैं कि गैर-एकरसता को में सहसंयोजकों के सहसंबंध से आना चाहिए । $\lambda$ $X$

— कार्लोस सिनेली
स्रोत