डिज़ाइन मैट्रिक्स के आकार के साथ लास्सो कैसे होता है?

अगर मेरे पास एक डिज़ाइन मैट्रिक्स , जहां आयाम की टिप्पणियों की संख्या है , तो लिए हल करने की जटिलता क्या है LASSO, wrt और ? मुझे लगता है कि उत्तर को संदर्भित करना चाहिए कि इन मापदंडों के साथ एक LASSO पुनरावृत्ति तराजू कैसे, इसके बजाय पुनरावृत्तियों की संख्या (अभिसरण) तराजू, जब तक आप अन्यथा महसूस नहीं करते। $X\in\mathcal{R}^{n\times d}$ $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

मैंने इस पिछले LASSO जटिलता प्रश्न को पढ़ा है , लेकिन यह यहाँ और यहाँ glmnet के बारे में चर्चा के साथ बाधाओं पर लगता है । मुझे पता है कि वहाँ कई एल्गोरिदम हैं, जिसमें glmnet का GLM दृष्टिकोण शामिल है, लेकिन मैं एक LASSO घटक को मूल एल्गोरिथ्म में बदलने के बारे में एक पेपर लिख रहा हूं और सामान्य रूप से LASSO जटिलता के बारे में चर्चा करना चाहूंगा, विशेष रूप से और । मैं बुनियादी गैर-विरल मामले में ग्लमैनेट की जटिलता को भी जानना चाहूंगा, लेकिन संदर्भित पेपर थोड़ा भ्रमित है क्योंकि संपूर्ण एल्गोरिथ्म जटिलता स्पष्ट नहीं है। $d$ $n$

— rnoodle
स्रोत

यह स्पष्ट नहीं है कि यह उत्तर आँकड़े.stackexchange.com/a/190717/28666 (आपके द्वारा लिंक किए गए थ्रेड में) आपके प्रश्न का उत्तर नहीं देता है। क्या आप विस्तार से समझा सकते हैं? क्या बाधाओं के साथ है?

— अमीबा

[Pdf] [१] में पेज ६, में कहा गया है, "इस प्रकार सभी d चर के माध्यम से एक पूरा चक्र " है। हालाँकि प्रश्न आप राज्यों । क्या मुझे जटिलता प्राप्त करने के लिए यहां एक लूप याद आ रहा है? [१]: jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— १17'१

@amoeba आपके द्वारा प्रदान किया गया लिंक LARS एल्गोरिथ्म के लिए है - मैं GLM दृष्टिकोण के बारे में जानना चाहता हूं।

— rnoodle

संदर्भ, कम से कम कोण प्रतिगमन के लिए और समन्वय के लिए , सही हैं। अंतर यह है कि (1) LARS को में एक सटीक समाधान मिल जाता है (और ऐसा करना संभव है कि जटिलता के साथ संभव के पूरे रास्ते में ओएलएस समस्या के बराबर पूरी समस्या हो, जो भी हो तराजू के रूप में ), जबकि (2) समन्वित वंश में एक ही सन्निकटन कदम" कर रहा है " , न्यूनतम के करीब / 'उतरते' हुए। LASSO समस्या। LARS चरणों का उपयोग करता है । समन्वित वंश के साथ ... कोई नहीं जानता।

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

d

$d$

— सेक्टस एम्पिरिकस

संदर्भ से उत्तर,

$\mathcal{O}(d^2n)$ कम से कम कोण प्रतिगमन के लिए
$\mathcal{O}(dn)$ समन्वयन वंश के लिए

, सही हैं।

अंतर यह है कि

LARS समीकरण एक बंद रूप में लिखे गए हैं और एक सटीक समाधान ढूंढते हैं

$O(d^2n)$

जबकि

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

स्केलिंग लार्स एक समस्या है जिसमें कम्प्यूटेशनल जटिलता शामिल है। समन्वित वंश को स्केल करना कम्प्यूटेशनल जटिलता और अभिसरण से जुड़ी समस्या है।

— सेक्सटस एम्पिरिकस
स्रोत