लसो के लिए सादे उप-विधायक तरीकों के बजाय समीपस्थ ढाल वंश क्यों?

Question

मैं वेनिला उपनगर विधियों के माध्यम से लासो को हल करने के लिए सोच रहा था। लेकिन मैंने लोगों को समीपवर्ती ढाल वंश का उपयोग करने का सुझाव देते हुए पढ़ा है। क्या कोई यह उजागर कर सकता है कि लास्सो के लिए वेनिला उपनगर विधियों के बजाय समीपस्थ जीडी का उपयोग क्यों किया जाता है?

Answer 1

एक अनुमानित समाधान वास्तव में उप-विधायी विधियों का उपयोग करते हुए लासो के लिए पाया जा सकता है। उदाहरण के लिए, मान लें कि हम निम्नलिखित हानि कार्य को कम करना चाहते हैं:

$$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$$

दंड शब्द की ढाल है - w_i के$-\lambda$ लिए \ lambda $w_i < 0$ और w_i> 0 के लिए lambda , लेकिन दंड शब्द 0 पर nondifferentiable है । इसके बजाय, हम subgradient \ lambda \ text {sgn} (w) का उपयोग कर सकते हैं , जो समान है लेकिन w_i = 0 के लिए 0 का मान है ।$\lambda$$w_i > 0$$0$$\lambda \text{sgn}(w)$$0$$w_i = 0$

नुकसान फ़ंक्शन के लिए संबंधित उप-क्रमांक है:

$$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$$

हम ग्रेडिएंट डिसेंट के समान दृष्टिकोण का उपयोग करके नुकसान फ़ंक्शन को कम कर सकते हैं, लेकिन सबग्रेडिएंट का उपयोग कर सकते हैं (जो को छोड़कर हर जगह ग्रेडिएंट के बराबर है , जहां ग्रेडिएंट अपरिभाषित है)। समाधान वास्तविक लासो समाधान के बहुत करीब हो सकता है, लेकिन सटीक शून्य नहीं हो सकता है - जहां वजन शून्य होना चाहिए था, वे इसके बजाय बेहद छोटे मान लेते हैं। सच्ची स्पार्सिटी की यह कमी एक कारण है कि लैस्सो के लिए सबग्रेडिएंट मेथड का इस्तेमाल नहीं किया गया। समर्पित सॉल्वर कम्प्यूटेशनल रूप से कुशल तरीके से वास्तव में विरल समाधानों का उत्पादन करने के लिए समस्या संरचना का लाभ उठाते हैं। ये पद$0$कहते हैं कि, विरल समाधानों के उत्पादन के अलावा, समर्पित विधियों (समीपस्थ ढाल विधियों सहित) में उप-विधायी विधियों की तुलना में तेजी से अभिसरण दर होती है। वह कुछ संदर्भ देता है।