रिज और LASSO ने एक सहसंयोजक संरचना दी है?

सांख्यिकीय लर्निंग (हेस्टी, टिबरैनी और फ्रीडमैन) के तत्वों में अध्याय 3 को पढ़ने के बाद, मुझे आश्चर्य हुआ कि क्या इस प्रश्न के शीर्षक पर उद्धृत प्रसिद्ध संकोचन विधियों को लागू करना संभव है, जिसे एक सहसंयोजक संरचना दी गई है, अर्थात: न्यूनतम (शायद अधिक सामान्य) ) मात्रा

(\vec{y} - X \vec{β})^{T} V^{- 1} (\vec{y} - X \vec{β}) + λ f (β), (1)

$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$

सामान्य बजाय यह मुख्य रूप से इस तथ्य से प्रेरित था कि मेरे विशेष आवेदन में, हमारे पास लिए अलग-अलग (और कभी-कभी एक सहसंयोजक संरचना का भी अनुमान लगाया जा सकता है) और मुझे इसमें शामिल करना अच्छा लगेगा उन्हें प्रतिगमन में। मैंने इसे रिज रिग्रेशन के लिए किया था: कम से कम पायथन / सी में इसे लागू करने के साथ, मैं देखता हूं कि उन मार्गों में महत्वपूर्ण अंतर हैं जो गुणांक का पता लगाते हैं, जो दोनों मामलों में क्रॉस-वैरिफिकेशन घटता की तुलना करते समय भी उल्लेखनीय है।

(\vec{y} - X \vec{β}) (\vec{y} - X \vec{β}) + λ f (β) . (2)

$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$

\vec{y}

$\vec{y}$

अब मैं जब कम से कम LASSO लागू करने के लिए कम से कम कोण प्रतिगमन के माध्यम से, लेकिन आदेश मैं पहली बार साबित होता है कि अपने सभी अच्छा गुण अभी भी मान्य हैं है यह करने के लिए में प्रयास करने के लिए तैयारी कर रहा था के बजाय । अब तक, मैंने ऐसा कोई काम नहीं देखा है जो वास्तव में यह सब करता हो, लेकिन कुछ समय पहले मैंने एक उद्धरण भी पढ़ा था जिसमें कहा गया था कि " जो लोग आंकड़े नहीं जानते हैं उन्हें इसे फिर से परिभाषित करने के लिए बर्बाद किया जाता है " (ब्रैड एफ्रॉन द्वारा), शायद? ), इसीलिए मैं यहां सबसे पहले पूछ रहा हूं (यह देखते हुए कि मैं सांख्यिकी साहित्य का एक नया नवागंतुक हूं): क्या यह पहले से ही इन मॉडलों के लिए कहीं है? क्या यह किसी तरह से आर में लागू किया गया है? ( बजाय को न्यूनतम करके रिज के समाधान और कार्यान्वयन को शामिल करें $(1)$ $(2)$ $(1)$ $(2)$ , जो कि आर में lm.ridge कोड में क्या लागू किया गया है)?

आपके जवाब के लिए पहले से ही धन्यवाद!

lasso ridge-regression

— Néstor
स्रोत

पिछले उत्तर को en.wikipedia.org/wiki/Generalized_least_squares में और अधिक विवरण के साथ सूचित किया गया है । समाधान को एक व्यावहारिक सामान्यीकृत लेस्टर स्क्वायर (FGLS) दृष्टिकोण का उपयोग करके लागू किया जा सकता है

— निकोला जीन

यदि हम चोल्स्की अपघटन जानते हैं, तो और हम वेक्टर साथ वेक्टर और भविष्यवाणियों के साथ प्रतिक्रिया को प्रतिस्थापित करके मानक एल्गोरिदम (जो भी दंड कार्य एक पसंद करते हैं) का उपयोग कर सकते हैं । $V^{-1} = L^TL$

(y - X β)^{T} V^{- 1} (y - X β) = (L y - L X β)^{T} (L y - L X β)

$(y - X\beta)^T V^{-1} (y - X\beta) = (Ly - LX\beta)^T (Ly - LX\beta)$

L y

$Ly$

L X

$LX$

— NRH
स्रोत