कर सकते हैं वृद्धि जब

11

अगर $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , कर सकते हैं $\|\beta^*\|_2$ वृद्धि $\lambda$ बढ़ता है?

मुझे लगता है कि यह संभव है। हालांकि $\|\beta^*\|_1$ बढ़ जाता है जब $\lambda$ (मेरा प्रमाण ) बढ़ता है , तो $\|\beta^*\|_2$ बढ़ सकता है। नीचे दिया गया आंकड़ा एक संभावना दर्शाता है। जब $\lambda$ बढ़ता है, यदि से $\beta^*$ तक (रैखिक रूप से) यात्रा करता है , तो बढ़ता है जबकि कम हो जाता है। लेकिन मुझे नहीं पता कि एक ठोस उदाहरण (यानी, और निर्माण के लिए ) का निर्माण कैसे किया जाए, ताकि इस व्यवहार को प्रदर्शित करने के लिए का प्रोफ़ाइल प्रदर्शित हो। कोई विचार? धन्यवाद। $P$ $Q$ $\|\beta^*\|_2$ $\|\beta^*\|_1$ $X$ $y$ $\beta^*$

यहां छवि विवरण दर्ज करें

lasso

— ziyuang
स्रोत

10

इसका उत्तर हां है, और आपके पास में एक ग्राफिकल प्रूफ है । $\ell_2$

वेक्टर मानदंड की समानता की परिभाषा देखें। आपको यह पता चलेगा कि जहां वेक्टर का आयाम है । इसलिए, वहाँ कुछ है लचीलेपन की तुलना में के लिए की तुलना में आदर्श, आदर्श।

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

वास्तव में, आप जिस समस्या को हल करना चाहते हैं, उसे इस प्रकार कहा जा सकता है:

खोजें ऐसी है कि जबकि एक ही समय $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

पहली असमानता को स्क्वायर करें, विस्तार करें और देखें कि और वह, और , हम दूसरी असमानता से प्राप्त करते हैं कि हमारे पास होना चाहिए। किसी भी कि इन बाधाओं को पूरा में वृद्धि होगी जबकि घटते आदर्श आदर्श।

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

आपके उदाहरण में, , , और और $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— टॉमी एल
स्रोत

लेकिन यह और के निर्माण से कैसे संबंधित है ?

X

$X$

y

$y$

— जियाउंग

3

@ टॉमीएल के उत्तर के लिए धन्यवाद, लेकिन उसका जवाब और के निर्माण पर प्रत्यक्ष नहीं है । मैं किसी तरह खुद को "हल" करता हूं। सबसे पहले, जब बढ़ता है, तो नहीं बढ़ेगा जब प्रत्येक एकध्रुवीय रूप से घटता है। ऐसा तब होता है जब ऑर्थोनॉमिक होता है, जिसमें हमारे पास होता है $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

ज्यामितीय, इस स्थिति में लंबवत की समोच्च करने के लिए ले जाता है आदर्श है, तो में वृद्धि नहीं कर सकते हैं। $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

दरअसल, हस्ती एट अल। फ़ोरवर्ड स्टेजवाइज़ रिग्रेशन और मोनोटोन लैस्सो में वर्णित , प्रोफाइल पथों की एकरसता की एक आवश्यक और पर्याप्त स्थिति:

यहां छवि विवरण दर्ज करें

कागज की धारा 6 में उन्होंने टुकड़े-रेखीय आधार के कार्यों के आधार पर एक कृत्रिम डेटा सेट का निर्माण किया, जो गैर-एकरसता को दर्शाता है, उपरोक्त स्थिति का उल्लंघन करता है। लेकिन अगर हमारे पास किस्मत है, तो हम समान व्यवहार को प्रदर्शित करते हुए एक यादृच्छिक डेटा सेट बना सकते हैं लेकिन सरल तरीके से। यहाँ मेरा R कोड है:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

मैंने जानबूझकर के कॉलम को बहुत अधिक सहसंबद्ध (ऑर्थोनॉमिक केस से दूर) बताया, और सच्चे में बड़ी सकारात्मक और नकारात्मक दोनों प्रविष्टियाँ हैं। यहाँ का प्रोफ़ाइल है (आश्चर्यजनक रूप से केवल 5 चर सक्रिय नहीं हैं): $X$ $\beta$ $\beta^*$

यहां छवि विवरण दर्ज करें

और और के बीच संबंध : $\lambda$ $\|\beta^*\|_2$

यहां छवि विवरण दर्ज करें

तो हम देख सकते हैं कि कुछ अंतराल के लिए , रूप में बढ़ता है। $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
स्रोत