लासो प्रतिगमन की समय जटिलता क्या है?

Question

यासो पंक्तियों या स्तंभों की संख्या बढ़ने के साथ लैस्सो प्रतिगमन की स्पर्शोन्मुख समय जटिलता क्या है?

Answer 1

याद रखें कि lasso एक $l_1$ नियमितीकरण वाला एक रैखिक मॉडल है।

मापदंडों को ढूंढना एक असंबंधित अनुकूलन समस्या के रूप में तैयार किया जा सकता है, जहां पैरामीटर द्वारा दिए गए हैं

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$ ।

विवश निर्माण में पैरामीटर द्वारा दिए गए हैं

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

जो एक द्विघात प्रोग्रामिंग समस्या है और इस प्रकार बहुपद है।

लगभग सभी उत्तल अनुकूलन दिनचर्या, यहां तक ​​कि तंत्रिका नेटवर्क जैसी लचीली नॉनलाइनर चीजों के लिए, अपने लक्ष्य आरटी मापदंडों के व्युत्पन्न की गणना पर भरोसा करते हैं। यद्यपि आप के व्युत्पन्न नहीं ले सकते हैं हालांकि जैसे कि आप विभिन्न तकनीकों पर निर्भर हैं। मापदंडों को खोजने के लिए कई तरीके हैं। यहाँ विषय पर एक समीक्षा पत्र है, L1- नॉर्मल रेगुलराइजेशन के साथ लिस्ट स्क्वेयर ऑप्टिमाइज़ेशन । पुनरावृत्ति उत्तल अनुकूलन की समय-जटिलता विश्लेषण करने के लिए मुश्किल है, क्योंकि यह एक अभिसरण मानदंड पर निर्भर करता है। आम तौर पर, पुनरावृत्तियों में वृद्धि के रूप में पुनरावृत्त समस्याएं कम युगों में परिवर्तित होती हैं।$\alpha||w||_1$

Comments

कई चीजें: यह कहना कि एक समस्या "बहुपद" विशेष रूप से सहायक नहीं है, जब तक कि शायद आप किसी प्रकार की कॉम्बीनेटरिक्स समस्या (जो आमतौर पर घातीय है) को देख रहे हैं। दूसरा, डेरिवेटिव की गणना काफी हमेशा नहीं सीमित कदम। तीसरा, आमतौर पर जब पुनरावृत्ति एल्गोरिथ्म के समय की जटिलता पर चर्चा की जाती है, तो एक आम तौर पर प्रति चरण लागत को देखता है , और इस प्रकार अभिसरण मानदंड पर निर्भर नहीं करता है। अंत में, यह आमतौर पर अधिक टिप्पणियों = कम पुनरावृत्तियों के मामले में नहीं है।

— क्लिफ एबी

Answer 2

जबकि @JacobMick एक व्यापक अवलोकन और एक समीक्षा पत्र के लिए एक लिंक प्रदान करता है, मुझे एक "शॉर्टकट उत्तर" (जिसे उनके उत्तर का एक विशेष मामला माना जा सकता है) दें।

अभ्यर्थी चर (विशेषताएं, कॉलम) की संख्या और नमूना आकार (टिप्पणियों, पंक्तियों की संख्या) । LARS एल्गोरिथ्म का उपयोग करके लागू LASSO पर विचार करें ( Efron et al।, 2004 )। LASSO की कम्प्यूटेशनल जटिलता ( ityid ) है ।$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• के लिए , और LASSO के कम्प्यूटेशनल जटिलता है है, जो के साथ एक प्रतिगमन की तरह ही है चर ( एफ्रोन एट अल।, 2004 , पी। 443-444; श्मिट में भी उद्धृत , 2005 , खंड 2.4; एक प्रतिगमन की कम्प्यूटेशनल जटिलता के लिए, इस पोस्ट को देखें )।$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• के लिए , और LASSO के कम्प्यूटेशनल जटिलता है ( एफ्रोन एट अल।, 2004 )।$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

संदर्भ:

• एफ्रॉन, ब्रैडले, एट अल। "कम से कम कोण प्रतिगमन।" द एनल्स ऑफ स्टैटिस्टल्स 32.2 (2004): 407-499।
• श्मिट, मार्क। "एल -1-मानक नियमितीकरण के साथ कम से कम वर्गों का अनुकूलन।" CS542B प्रोजेक्ट रिपोर्ट (2005)।

Comments

रिचर्ड, क्या आप यहाँ GLM दृष्टिकोण के लिए पुनरावृत्ति जटिलता पर टिप्पणी कर सकते हैं। आँकड़े । Sexexchange.com/questions/280304/ ?

— rnoodle

@ मनोदशा, मैं इसमें गहरी खुदाई किए बिना नहीं रह सकता (जिसके लिए मेरे पास समय नहीं है), लेकिन आपके प्रश्न के लिए +1।

— रिचर्ड हार्डी

मेरे पास एक नज़र थी, लेकिन यह स्पष्ट नहीं है - उस पर दूसरी जोड़ी आँखें प्राप्त करना अच्छा होगा। तो वहाँ पुनरावृत्ति जटिलता और पूर्ण अभिसरण जटिलता है, और मुझे लगता है कि साहित्य कुछ हद तक परिभाषाओं पर कभी-कभी अस्पष्ट है। मूल रूप से मेरे पास एक एल्गोरिथ्म है जो बहुत महत्वपूर्ण स्थिति में एक लैसो सॉल्वर का उपयोग करता है जैसे कि मेरे एल्गोरिथ्म की जटिलता दृढ़ता से सॉल्वर पर निर्भर है। इसको नाखून लगाना अच्छा रहेगा। चीयर्स! मैं आपके इनपुट के लिए इस पर एक बाउंटी

— लगाऊंगा

@rnoodle, मुझे बहुत संदेह है कि मैं जल्द ही किसी भी समय आपकी मदद करने में सक्षम हो जाऊंगा, लेकिन एक इनाम निश्चित रूप से अन्य लोगों को आकर्षित कर सकता है जो बेहतर जानते हैं। सौभाग्य!

— रिचर्ड हार्डी