बायेसियन लासो बनाम साधारण लासो

Question

विभिन्न कार्यान्वयन सॉफ्टवेयर लसो के लिए उपलब्ध हैं । मुझे पता है कि विभिन्न फोरमों में बार-बार होने वाले दृष्टिकोण के बारे में बहुत चर्चा की गई है। मेरा सवाल लस्सो के लिए बहुत विशिष्ट है - नियमित लास्सो बनाम बेज़ियन लास्सो के मतभेद या फायदे क्या हैं ?

पैकेज में कार्यान्वयन के दो उदाहरण हैं:

# just example data
set.seed(1233)
X <- scale(matrix(rnorm(30),ncol=3))[,]
set.seed(12333)
Y <- matrix(rnorm(10, X%*%matrix(c(-0.2,0.5,1.5),ncol=1), sd=0.8),ncol=1)

require(monomvn) 
## Lasso regression
reg.las <- regress(X, Y, method="lasso")

## Bayesian Lasso regression
reg.blas <- blasso(X, Y)

तो मुझे एक या अन्य तरीकों के लिए कब जाना चाहिए? या वे एक ही हैं?

Answer 1

रिग्रेशन में स्पार्सिटी हासिल करने के लिए स्टैंडर्ड लैस्सो एल 1 रेगुलराइजेशन पेनल्टी का इस्तेमाल करता है । ध्यान दें कि इसे बेसिस परस्यूट के नाम से भी जाना जाता है ।

बाइसियन फ्रेमवर्क में, रेग्युलर की पसंद वजन से पहले की पसंद के अनुरूप है। यदि एक गाऊसी पूर्व का उपयोग किया जाता है, तो अधिकतम एक पोस्टीरियर (एमएपी) समाधान उसी तरह होगा जैसे कि एल 2 जुर्माना का उपयोग किया गया था। जब तक सीधे समतुल्य नहीं होता है, लाप्लास पूर्व (जो कि तेजी से शून्य के आसपास नुकीला होता है, गॉसियन के विपरीत जो शून्य के आसपास चिकना होता है), L1 दंड के समान संकोचन प्रभाव पैदा करता है। इस पत्र में बायेसियन लास्सो का वर्णन है। ।

वास्तव में, जब आप मापदंडों से पहले एक लैप्लस रखते हैं, तो एमएपी समाधान एल 1 पेनल्टी के साथ नियमितीकरण के समान (केवल समान नहीं) होना चाहिए और लैपल्स पूर्व एल 1 पेनल्टी के लिए एक समान संकोचन प्रभाव पैदा करेगा। हालाँकि, या तो बायेसियन इंजेक्शन प्रक्रिया, या अन्य संख्यात्मक मुद्दों में सन्निकटन के कारण, समाधान वास्तव में समान नहीं हो सकते हैं।

ज्यादातर मामलों में, दोनों विधियों द्वारा उत्पादित परिणाम बहुत समान होंगे। अनुकूलन विधि और क्या सन्निकटन का उपयोग किया जाता है पर निर्भर करता है, मानक लासो संभवतः बायेसियन संस्करण की तुलना में अधिक कुशल होगा। यदि आवश्यक हो, तो बायेसियन स्वचालित रूप से त्रुटि विचरण सहित सभी मापदंडों के लिए अंतराल का अनुमान लगाता है।

Comments

"यदि एक गाऊसी पूर्व का उपयोग किया जाता है, तो अधिकतम संभावना समाधान समान होगा ...."। हाइलाइट किए गए वाक्यांश को "अधिकतम ए पोस्टवर्दी (एमएपी)" पढ़ना चाहिए क्योंकि अधिकतम संभावना अनुमानों को मापदंडों पर पूर्व वितरण को अनदेखा कर देगा, एक अनियमित समाधान के लिए अग्रणी होगा जबकि एमएपी अनुमान पूर्व को ध्यान में रखता है।

— मेफैथी

जब आप मापदंडों से पहले एक लैप्लस रखते हैं, तो एमएपी समाधान एल 1 पेनल्टी के साथ नियमितीकरण के समान (केवल समान नहीं) होगा और लैपल्स पूर्व एल 1 पेनल्टी के लिए एक समान संकोचन प्रभाव पैदा करेगा।

— मेफैथी

@mefathy हाँ, आप दोनों गणनाओं पर सही हैं (विश्वास नहीं कर सकते कि मैंने MAP के बजाय ML लिखा है ....), हालांकि व्यवहार में YMVV है। मैंने दोनों टिप्पणियों को शामिल करने का उत्तर अपडेट कर दिया है।

— tdc

Answer 2

"कम से कम वर्ग" का अर्थ है कि समग्र समाधान हर एक समीकरण के परिणामों में हुई त्रुटियों के वर्ग को घटाता है। सबसे महत्वपूर्ण अनुप्रयोग डेटा फिटिंग में है। कम से कम वर्गों के अर्थों में सबसे अच्छा फिट वर्ग के अवशेषों के योग को कम करता है, एक अवशिष्ट एक मनाया मूल्य और एक मॉडल द्वारा प्रदान किए गए फिट मूल्य के बीच का अंतर है। अन्य वर्गों की समस्याएं दो श्रेणियों में आती हैं: रैखिक या साधारण न्यूनतम वर्ग और गैर- रैखिक कम से कम वर्ग, इस पर निर्भर करता है कि सभी अज्ञात में अवशिष्ट रैखिक हैं या नहीं।

बायेसियन रेखीय प्रतिगमन रैखिक प्रतिगमन के लिए एक दृष्टिकोण है जिसमें सांख्यिकीय विश्लेषण बायेसियन निष्कर्ष के संदर्भ में किया जाता है। जब प्रतिगमन मॉडल में त्रुटियां होती हैं जिनका सामान्य वितरण होता है, और यदि पूर्व वितरण का एक विशेष रूप ग्रहण किया जाता है, तो मॉडल के मापदंडों के बाद के संभावित वितरण के लिए स्पष्ट परिणाम उपलब्ध हैं।

$\|\beta\|^2$

कम से कम वर्गों का एक वैकल्पिक नियमित संस्करण लास्सो (कम से कम पूर्ण संकोचन और चयन ऑपरेटर) है, जो कांस्टिंट का उपयोग करता है कि , पैरामीटर वेक्टर का L1- मान, दिए गए मान से अधिक नहीं है । एक बायेसियन संदर्भ में, यह पैरामीटर वेक्टर पर शून्य-मीन लाप्लास पूर्व वितरण रखने के बराबर है।$\|\beta\|_1$

लासो और रिज रिग्रेशन के बीच मुख्य अंतर यह है कि रिग रिग्रेशन में, जैसे-जैसे जुर्माना बढ़ाया जाता है, सभी मापदंडों को कम किया जाता है, जबकि अभी भी गैर-शून्य शेष रहते हुए, जबकि लासो में, पेनल्टी बढ़ने से मापदंडों का अधिक से अधिक होना शून्य करने के लिए प्रेरित किया।

इस पत्र में बाइसियन लसो और रिज रिग्रेशन ( चित्रा 1 देखें ) के साथ नियमित लासो की तुलना की गई है ।