बंद फार्म lasso समाधान की व्युत्पत्ति

समस्या के लिए ऐसा | मैं अक्सर सॉफ्ट- परिणाम ( के लिए ओर्थोनॉमिक केस। यह दावा किया जाता है कि इस तरह के समाधान को "आसानी से दिखाया जा सकता है", लेकिन मैंने कभी भी काम नहीं किया है। किसी ने देखा है या शायद व्युत्पत्ति किया है? $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— गैरी
स्रोत

यह थोड़ा उलझा हुआ लगता है। शुरुआत में आप एक बाधा

मान लेते हैं

t

$t$ और समाधान में आप एक पैरामीटर

परिचय देते हैं

γ

$\gamma$ । मुझे लगता है कि आप इन दोनों को दोहरी समस्या के माध्यम से संबंधित होने का इरादा रखते हैं, लेकिन शायद आप स्पष्ट कर सकते हैं कि आप क्या देख रहे हैं।

— कार्डिनल

आंशिक रूप से खोजने, @cardinal का जवाब

β

$\beta$ कि कम से कम

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ के अधीन

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ पाने के लिए बराबर है

β

$\beta$ कि कम करता है

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ ।

t

$t$ और

बीच 1-1 संबंध है

γ

$\gamma$ । 'आसानी से' देखने के लिए कि सॉफ्ट-थ्रॉल्डिंग परिणाम क्यों है, मैं दूसरी अभिव्यक्ति (मेरी टिप्पणी में) को हल करने की सलाह दूंगा।

एक और नोट, जब

β

$\beta$ को कम करने वाला

खोज

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ , मामलों को

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ , और

में समस्या को

β = 0

$\beta=0$ ।

@ कार्डिनल आह हां, 1-1 गलत है। सुधार: प्रत्येक

t \geq 0

$t\geq0$ , आप एक

पा सकते हैं

γ \geq 0

$\gamma\geq 0$ ।

एक महान चर्चा के लिए धन्यवाद! मुझे यह वीडियो आंसरशीट पर आया है - डेज़िंग द लास्सो कोऑर्डिनेट डीसेंट अपडेट , जो इस चर्चा के लिए बहुत प्रासंगिक है, और समाधान के माध्यम से बहुत ही सुरुचिपूर्ण ढंग से चलता है। भविष्य के आगंतुकों के लिए सहायक हो सकता है :-)

— zorbar

जवाबों:

यह कई तरीकों से हमला किया जा सकता है, जिसमें करुश-कुह्न-टकर स्थितियों के माध्यम से काफी किफायती दृष्टिकोण शामिल हैं ।

नीचे एक काफी प्रारंभिक वैकल्पिक तर्क दिया गया है।

एक ऑर्थोगोनल डिजाइन के लिए सबसे कम वर्ग समाधान

मान लीजिए कि ऑर्थोगोनल कॉलम से बना है। फिर, सबसे कम वर्ग का समाधान $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

कुछ समकक्ष समस्याएं

लैग्रेंजियन फॉर्म के माध्यम से, यह देखने के लिए सीधा है कि प्रश्न में माना गया एक समतुल्य समस्या

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

पहले शब्द का विस्तार करते हुए हमें और बाद से कोई भी सम्‍मिलित नहीं है ब्याज के चर, हम इसे त्याग सकते हैं और अभी तक एक और समतुल्य समस्या पर विचार कर सकते हैं, $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

यह देखते हुए कि , पिछली समस्या को रूप में फिर से लिखा जा सकता है $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

हमारा उद्देश्य फ़ंक्शन अब उद्देश्यों का एक योग है, प्रत्येक एक अलग चर अनुरूप है , इसलिए वे प्रत्येक व्यक्तिगत रूप से हल हो सकते हैं। $\beta_i$

संपूर्ण इसके भागों के योग के बराबर है

एक निश्चित तय करो । फिर, हम को कम से कम करना चाहते हैं $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

यदि , तो हमारे पास होना चाहिए अन्यथा हम इसके संकेत को फ्लिप कर सकते हैं और उद्देश्य फ़ंक्शन के लिए कम मान प्राप्त कर सकते हैं। इसी तरह अगर , तो हमें चुनना होगा । $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

केस 1 : । चूंकि , और इसे अलग करने के लिए संबंध में और शून्य के बराबर सेट करें। , हम प्राप्त करते हैं और यह केवल तभी संभव होता है जब दाईं ओर का भाग होता है, इसलिए इस मामले में वास्तविक समाधान $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

केस 2 : । इसका तात्पर्य है कि हमारे पास और so संबंध में अंतर और शून्य के बराबर स्थापित करने पर, हमें । लेकिन, फिर से, यह सुनिश्चित करने के लिए संभव है, हमें , जो $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

दोनों ही मामलों में, हमें वांछित फॉर्म मिलता है, और इसलिए हमें किया जाता है।

अंतिम टिप्पणी

— कार्डिनल
स्रोत

ग्रेट राइटअप @कार्डिनल!

— गैरी

+1 पूरे उत्तरार्ध को साधारण अवलोकन द्वारा प्रतिस्थापित किया जा सकता है जो उद्देश्य फ़ंक्शन है पर कोने के साथ दो उत्तल परवलों के कुछ हिस्सों का एक संघ , जहां नकारात्मक संकेत लिए लिया जाता है और सकारात्मक अन्यथा। सूत्र केवल निचले शीर्ष को चुनने का एक फैंसी तरीका है।

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

यदि संभव हो, तो मैं केकेटी-इष्टतम स्थितियों का उपयोग करके व्युत्पन्नियों को देखना चाहूंगा। इस परिणाम को प्राप्त करने के लिए और क्या तरीके हैं?

— user1137731

@ कार्डिनल: एक अच्छी व्युत्पत्ति के लिए धन्यवाद। एक अवलोकन। अगर मुझे याद है, तो ऑर्थोगोनल कॉलम के साथ मैट्रिक्स ऑर्थोगोनल (उर्फ ऑर्थोनॉर्मल) मैट्रिक्स के समान नहीं है। फिर कुछ विकर्ण मैट्रिक्स (आवश्यक रूप से पहचान मैट्रिक्स नहीं) के लिए। ऑर्थोगोनल मैट्रिक्स धारणा के साथ (जैसा कि मूल प्रश्न में है), हमारे पास और सभी बहुत :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— ओलेग

@ कार्डिनल मुझे नहीं मिलता है कि आप क्यों कहते हैं "क्योंकि अन्यथा हम इसके संकेत को फ्लिप कर सकते हैं और उद्देश्य फ़ंक्शन के लिए कम मूल्य प्राप्त कर सकते हैं"। हम उद्देश्य समारोह के व्युत्पन्न ले रहे हैं। तो क्या हुआ अगर उद्देश्य फ़ंक्शन अधिक या कम है, जो परवाह करता है। हम सभी की परवाह करते हैं कि व्युत्पन्न शून्य पर सेट है, हम एक्सट्रैमा के बारे में परवाह करते हैं। चाहे वह किसी स्थिरांक से अधिक या कम हो, यह अर्गमिन को प्रभावित नहीं करता है।

— user13985

मान लें कि covariates , के कॉलम , यह भी इतना है कि मानकीकृत कर रहे हैं । यह बस बाद में सुविधा के लिए है: इसके बिना, यह संकेतन सिर्फ विकर्ण होने के बाद से भारी हो जाता है। इसके अलावा मान लें कि । धारण करने के परिणाम के लिए यह एक आवश्यक धारणा है। कम से कम वर्गों के अनुमानक को परिभाषित करें परिभाषित करें । फिर, लैस्सो अनुमानक के लैगरैनी रूप) $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {संरेखित करें}} जहाँ एक फ़ंक्शन के समीपस्थ संचालक है और सॉफ्ट थ्रेसहोल्ड राशि

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ ।

यह एक व्युत्पत्ति है जो प्रॉक्सिमल ऑपरेटर के विस्तृत व्युत्पत्ति को रोकती है जो कार्डिनल काम करता है, लेकिन, मुझे उम्मीद है, मुख्य चरणों को स्पष्ट करता है जो एक बंद रूप को संभव बनाते हैं।

— user795305
स्रोत