एक बंद फॉर्म लैस्सो समाधान की मेरी व्युत्पत्ति गलत क्यों है?

Question

लैस्सो समस्या _ पास बंद फ़ॉर्म समाधान है: \ Beta_j ^ {\ text {lasso}} = = mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (! \ beta_j ^ \ पाठ {LS | }} | - \ अल्फा) ^ + यदि X के पास असामान्य कॉलम हैं। यह इस थ्रेड में दिखाया गया था: बंद फॉर्म लैस्सो समाधान की व्युत्पत्ति ।

$$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$$ $$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$$ $X$

हालाँकि मैं यह नहीं समझता कि सामान्य रूप से कोई बंद फॉर्म समाधान क्यों नहीं है। उप-विभाग का उपयोग करके मैंने निम्नलिखित प्राप्त किया।

( $X$ एक $n \times p$ मैट्रिक्स है)

$$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$$ _ | _1 = \ sum_ {i = 1} ^ n (y_i-X_i \ beta) 2 + \ Alpha \ sum_ {j = 1} ^ p | \ beta_j | $$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$$ ( X_i X$X_i$ की i- वीं पंक्ति है ) = \ sum_ {i = 1} ^ n y_i ^ 2 -2 \ sum_ {i = 1} ^ n y_i X_i \ beta + \ sum_ {i = 1 = ^ n \ _ बीटा ^ T X_i ^ T X_i \ beta + \ Alpha \ sum_ {j = 1} ^ p_ \ beta_j | \ Rightarrow \ frac {\ आंशिक f} {\ आंशिक \ Beta_j} = -2 \ sum_ {i = 1} ^ ny_i X_ {ij} + 2 \ sum_ {i = 1} ^ n X_ {j} ^ 2 \ beta_j + \ frac {\ आंशिक} {\ आंशिक \ Beta_j} (\ Alpha | \ beta_j |$X$⇒ ∂ $$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$$ ={ - 2 Σ n मैं = 1 y मैं एक्स मैं j + 2 Σ n मैं = 1 एक्स 2 मैं j बीटा j + अल्फा  के लिए  बीटा j > 0 - 2 Σ n मैं = 1 y मैं एक्स मैं j + 2 Σ n $$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$ $$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$$ with $\frac{\partial f}{\partial \beta_j} = 0$ हमें मिलता है

$$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$$

क्या कोई देखता है कि मैंने कहाँ गलत किया?

उत्तर:

यदि हम मेट्रिसेस के संदर्भ में समस्या लिखते हैं तो हम बहुत आसानी से देख सकते हैं कि एक बंद फॉर्म समाधान केवल एक्स ^ TX = I के साथ क्यों असामान्य मामले में मौजूद है $X^TX= I$:

$$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$$ $$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$$ _ | _1 \ Rightarrow \ nabla f (\ beta) = - 2X ^ Ty + 2X ^ TX \ Beta + \ nabla (\ अल्फा | \ beta \ _ | _1) $$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$$ (मैंने यहां एक बार में कई कदम उठाए हैं। हालांकि। इस बिंदु तक यह पूरी तरह से कम से कम वर्गों के समाधान की व्युत्पत्ति के अनुरूप है। इसलिए आपको वहाँ लापता चरणों को खोजने में सक्षम होना चाहिए।) $$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$

साथ $\frac{\partial f}{\partial \beta_j} = 0$ पर हम पाते हैं

$$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$ $$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$$

अब हम देख सकते हैं कि one लिए हमारा समाधान अन्य सभी पर निर्भर है, इसलिए यह स्पष्ट नहीं है कि यहां से कैसे आगे बढ़ना है। यदि orthonormal है तो हमारे पास इसलिए निश्चित रूप से इस मामले में एक बंद रूप समाधान मौजूद है।$\beta_j$$\beta_{i\neq j}$$X$$2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

उनके उत्तर के लिए गुमुंदुर सेमिनार के लिए धन्यवाद, जिस पर मैंने यहां विस्तार किया। मुझे आशा है कि इस बार यह सही है :-)

Comments

CrossValidated में आपका स्वागत है, और बहुत अच्छी पहली पोस्ट पर बधाई !

— एस। कोलासा - मोनिका

Answer 1

यह सामान्य रूप से कम से कम कोण प्रतिगमन के साथ किया जाता है, आप यहां पेपर पा सकते हैं ।

शुरुआत में मेरी उलझन के बारे में क्षमा करें, मैं इस पर एक और प्रयास करने जा रहा हूं।

तो आपके फंक्शन के विस्तार के बाद आपको मिलता है$f(\beta)$

$$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$$

तब आप संबंध में आंशिक व्युत्पन्न की गणना करते हैं । मेरी चिंता 1-मानदंड, यानी द्विघात शब्द से पहले अंतिम शब्द के आंशिक व्युत्पन्न की गणना में है। आइए आगे इसकी जांच करें। हमारे पास है:$\beta_j$

$$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$$ इसलिए आप अनिवार्य रूप से अपने द्विघात शब्द को इस प्रकार लिख सकते हैं: अब हम इस नियम की : के व्युत्पन्न की गणना करने के लिए श्रृंखला नियम का उपयोग कर सकते हैं। $$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$$ $\beta_j$ $$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$$

इसलिए अब आपकी समस्या आसानी से सरल नहीं होती, क्योंकि आपके पास प्रत्येक समीकरण में सभी गुणांक मौजूद होते हैं।$\beta$

यह आपके प्रश्न का उत्तर नहीं देता है कि लैस्सो का कोई बंद फॉर्म समाधान क्यों नहीं है, मैं उस पर बाद में कुछ जोड़ सकता हूं।

Comments

बहुत बहुत धन्यवाद। मैं वास्तव में अब देख सकता हूं कि कोई बंद फॉर्म समाधान क्यों नहीं है (मेरा संपादन देखें)।

— नोर्बर्ट

मिठाई! महान काम :)

— जूमो