LASSO मॉडल में Iteratively रीवेटेड लिस्ट स्क्वायर (IRLS) पद्धति को कैसे लागू करें?

12

मैंने IRLS एल्गोरिथ्म का उपयोग करके एक लॉजिस्टिक रिग्रेशन प्रोग्राम किया है । मैं स्वचालित रूप से सही सुविधाओं का चयन करने के लिए एक LASSO दंड लागू करना चाहूंगा । प्रत्येक पुनरावृत्ति पर, निम्न हल किया जाता है:

(X^{T} W X) δ \hat{β} = X^{T} (y - p)

$\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)}$

Let एक गैर-नकारात्मक वास्तविक संख्या है। मैं तत्वों के रूप में सुझाए गए अवरोधन को दंडित नहीं कर रहा हूं । सांख्यिकीय सीखना । पहले से ही शून्य गुणांक के लिए डिट्टो। अन्यथा, मैं दाईं ओर से एक शब्द घटाता हूं: $\lambda$

X^{T} (y - p) - λ \times s i g n (\hat{β})

$\mathbf{X^T\left(y-p\right)-\lambda\times \mathrm{sign}\left(\hat\beta\right)}$

हालाँकि, मैं IRLS एल्गोरिथ्म के संशोधन के बारे में अनिश्चित हूं। क्या यह सही तरीका है?

संपादित करें: हालांकि मैं इसके बारे में आश्वस्त नहीं था, यहाँ समाधान मैं अंत में के साथ आया है में से एक है। यह दिलचस्प है कि यह समाधान उस चीज से मेल खाता है जिसे मैं अब LASSO के बारे में समझता हूं। वास्तव में केवल एक के बजाय प्रत्येक पुनरावृत्ति पर दो चरण हैं:

पहला चरण पहले जैसा ही है: हम एल्गोरिथ्म का एक पुनरावृत्ति बनाते हैं (जैसे कि ऊपर के ढाल के लिए सूत्र में ), $\lambda=0$
दूसरा चरण नया है: हम पहले चरण में प्राप्त किए गए वेक्टर प्रत्येक घटक को छोड़कर (प्रत्येक घटक को छोड़कर) को , जो कि घटक के इंटरसेप्टर से मेल खाता है) । इसे Iterative Soft-Thresholding Algorithm कहा जाता है । $\beta_0$ $\beta$

\forall i \geq 1, β_{i} \leftarrow s i g n (β_{i}) \times max (0, | β_{i} | - λ)

$\forall i \geq 1, \beta_{i}\leftarrow\mathrm{sign}\left(\beta_{i}\right)\times\max\left(0,\,\left|\beta_{i}\right|-\lambda\right)$

— कडाई
स्रोत

फिर भी IRLS को अपनाने से बेहतर अभिसरण नहीं हो सका। : '(

— वोक

12

इस समस्या को आम तौर पर समन्वित वंश ( यहां देखें ) द्वारा फिट करके हल किया जाता है । यह विधि दोनों अधिक कुशल है संख्यात्मक रूप से, एल्गोरिदम को लागू करने और अधिक सामान्य सरणी मॉडल (कॉक्स प्रतिगमन सहित) के लिए लागू करना आसान है। R पैकेज glmnet में R कार्यान्वयन उपलब्ध है । कोड खुले स्रोत हैं (आंशिक रूप से और सी में, आंशिक रूप से आर में), इसलिए आप उन्हें ब्लूप्रिंट के रूप में उपयोग कर सकते हैं।

— user603
स्रोत

@ नोट के अनुसार, scikit.learn पैकेज भी इस तरह के सामान के लिए पायथन में कुशल कार्यान्वयन प्रदान करता है।

— chl

समन्वित वंश एल्गोरिथ्म दिलचस्प है। धन्यवाद। फिर भी सोच रहा था।

— वोक

5

LASSO हानि फ़ंक्शन में प्रत्येक अक्ष के साथ शून्य पर एक असंतोष है, इसलिए IRLS को इसके साथ समस्या होने वाली है। मैंने एक अनुक्रमिक न्यूनतम अनुकूलन (एसएमओ) प्रकार के दृष्टिकोण को बहुत प्रभावी पाया है, उदाहरण के लिए देखें

http://bioinformatics.oxfordjournals.org/content/19/17/2246

MATLAB सॉफ्टवेयर वाला एक संस्करण है

http://bioinformatics.oxfordjournals.org/content/22/19/2348

सॉफ्टवेयर यहाँ उपलब्ध है:

http://theoval.cmp.uea.ac.uk/~gcc/cbl/blogreg/

मूल विचार समय पर एक गुणांक का अनुकूलन करना है, और यह देखने के लिए परीक्षण करें कि क्या आप एक समय में एक गुणांक को पार करते हैं, जो कि एक स्केलर अनुकूलन को पूर्ण करने के रूप में आसान है। यह धीमा लग सकता है, लेकिन यह वास्तव में बहुत ही कुशल है (हालांकि मुझे उम्मीद है कि बेहतर एल्गोरिदम के बाद से विकसित किया गया है - शायद कीर्थी या चीह-जेन लिन द्वारा जो दोनों उस तरह के अग्रणी विशेषज्ञ हैं)।

— डिक्रान मार्सुपियल
स्रोत

धन्यवाद। मैं इसे पढ़ रहा हूं और इसके बारे में सोच रहा हूं। हालांकि, यह वर्तमान एल्गोरिथ्म का एक बड़ा संशोधन होगा।

— वोक

4

आप कागज की जांच कर सकते हैं: कुशल एल 1-नियमित लॉजिस्टिक प्रतिगमन, जो कि एलएएसओ के लिए एक आईआरएलएस-आधारित एल्गोरिथ्म है। कार्यान्वयन के संबंध में, लिंक आपके लिए उपयोगी हो सकता है (http://ai.stanford.edu/~silee/softwares/irlslars.htm)।

0

LASSO समस्या के लिए IRLS निम्नलिखित है:

\arg min_{x} \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ {‖ x ‖}_{1} = \arg min_{x} \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ x^{T} W x

$\arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda \left\| x \right\|_{1} = \arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda {x}^{T} W {x}$

जहाँ एक विकर्ण मैट्रिक्स है - । यह से आता है । $W$ ${W}_{i, i} = \frac{1}{ \left| {x}_{i} \right| }$
$\left\| x \right\|_{1} = \sum_{i} \left| {x}_{i} \right| = \sum_{i} \frac{ {x}_{i}^{2} } { \left| {x}_{i} \right| }$

अब, ऊपर सिर्फ तिखोनोव नियमितीकरण है ।
फिर भी, के बाद से पर निर्भर करता है एक यह iteratively हल करना चाहिए (इसके अलावा इस टिकोनोव नियमितीकरण में 2 कारक रद्द करता है, के व्युत्पन्न के रूप में के संबंध में , जबकि पकड़े निरंतर रूप है जो बराबर है : $W$ $x$ ${x}^{T} W x$ $x$ $x$ $\operatorname{diag} \left( \operatorname{sign} \left( x \right) \right)$ $W x$

x^{k + 1} = {(A^{T} A + λ W^{k})}^{- 1} A^{T} b

${x}^{k + 1} = \left( {A}^{T} A + \lambda {W}^{k} \right)^{-1} {A}^{T} b$

जहाँ । ${W}_{i, i}^{K} = \frac{1}{ \left| {x}^{k}_{i} \right| }$

प्रारंभ द्वारा किया जा सकता है । $W = I$

वेतन ध्यान यह अच्छी तरह के बड़े मूल्यों के लिए काम नहीं करता है और आप बेहतर इस्तेमाल ए डी एम एम या वंश समन्वय। $\lambda$

— Royi
स्रोत