क्या एक साथ L1 और L2 नियमितीकरण (उर्फ इलास्टिक नेट) के साथ रैखिक प्रतिगमन की एक बायेसियन व्याख्या है?

यह सर्वविदित है कि दंड के साथ रैखिक प्रतिगमन सह-गुणकों पर पूर्व में गाऊसी द्वारा दिए गए एमएपी अनुमान को खोजने के बराबर है। इसी तरह, दंड का उपयोग करना पूर्व के रूप में लाप्लास वितरण का उपयोग करने के बराबर है। $l^2$ $l^1$

और नियमितीकरण के कुछ भारित संयोजन का उपयोग करना असामान्य नहीं है । क्या हम कह सकते हैं कि यह गुणांक पर कुछ पूर्व वितरण के बराबर है (सहज रूप से, ऐसा लगता है कि यह होना चाहिए)? क्या हम इस वितरण को एक अच्छा विश्लेषणात्मक रूप दे सकते हैं (शायद गाऊसी और लाप्लासियन का मिश्रण)? यदि नहीं, तो क्यों नहीं? $l^1$ $l^2$

— माइकल करी
स्रोत

इस पत्र को देखें: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (यदि यह ठीक से एक या दो सप्ताह में उत्तर नहीं दिया गया है, तो मैं उस पेपर का सारांश पोस्ट

— करूंगा

मुझे यह जोड़ना चाहिए कि किसी भी समय आव्रजकों के पास एक दंड

, एक बायेसियन व्याख्या कर सकता है कि एक (संभवतः अनुचित) पूर्व

एक मानक गाऊसी मॉडल के तहत।

p e n

$pen$

e^{- p e n}

$e^{-pen}$

— user795305

धन्यवाद, यह कागज और इसके उद्धरण मेरे सवाल का पूरी तरह से जवाब देते हैं!

— माइकल करी

Zou और Hastie 2005, जो ऐसा लगता है कि पेपर लोचदार नेट को पेश कर रहा है। वे पूर्व के संदर्भ में एक व्याख्या देते हैं।

— माइकल करी

ठीक है! मुझे लगता है कि उनकी बेयसियन व्याख्या मेरी दूसरी टिप्पणी

— user795305

बेन की टिप्पणी पर्याप्त होने की संभावना है, लेकिन मैं कुछ और संदर्भ प्रदान करता हूं जिनमें से एक कागज बेन संदर्भित होने से पहले से है।

$\beta$

इलास्टिक नेट के लिए एक सही बायेसियन मॉडल हाल ही में रॉय और चक्रवर्ती (उनके समीकरण 6) द्वारा प्रस्तावित किया गया था । लेखक आगे के वितरण से नमूना लेने के लिए एक उपयुक्त गिब्स नमूना पेश करते हैं, और बताते हैं कि गिब्स नमूना एक ज्यामितीय दर पर स्थिर वितरण में परिवर्तित होता है। इस कारण से, ये संदर्भ हंस पेपर के अतिरिक्त उपयोगी हो सकते हैं ।

— Greenparker
स्रोत

(+1) शानदार जवाब!

— user795305

भविष्य में किसी के लिए भी - कागजात सभी देखने लायक हैं, लेकिन हंस पेपर आपको विभिन्न वितरणों के साथ-साथ स्टेन के लिए आसानी से अनुवादित किए जा सकने वाले पूर्व के पदानुक्रमित प्रतिनिधित्व के लिए कुछ गिब्स के नमूने देता है।

— माइकल करी