रिज रिग्रेशन - बायेसियन व्याख्या

Question

मैंने सुना है कि रिज प्रतिगमन को पूर्ववर्ती वितरण के माध्यम के रूप में प्राप्त किया जा सकता है, यदि पूर्व पर्याप्त रूप से चुना गया हो। क्या अंतर्ज्ञान है कि पूर्व के द्वारा प्रतिगमन गुणांक पर निर्धारित बाधाओं (जैसे मानक सामान्य वितरण 0 के आसपास) समान हैं / गुणांक के वर्ग आकार पर निर्धारित दंड को प्रतिस्थापित करते हैं? क्या इस पकड़ के लिए पूर्व का गौसियन होना अनिवार्य है?

Answer 1

नहीं, इस अर्थ में कि अन्य पुजारी तार्किक रूप से अन्य दंड से संबंधित हैं। सामान्य तौर पर आप शून्य प्रभाव के पास अधिक द्रव्यमान चाहते हैं ($\beta=0$) ओवरफिटिंग / अति-व्याख्या को कम करने के लिए। रिज एक द्विघात (L2, गाऊसी) दंड है, लसो है$|\beta|$(एल 1, लाप्लास या डबल घातीय वितरण) जुर्माना। कई अन्य दंड (पुजारी) उपलब्ध हैं। बेयसियन दृष्टिकोण का एक ठोस व्याख्या (और ठोस विश्वसनीय अंतराल) उपज का लाभ है, जबकि अधिकतम संभावना अनुमान (रिज, लासो, आदि) पैदावार को दंडित किया जाता है।$P$-विरोधों और आत्मविश्वास अंतरालों की व्याख्या करना कठिन है, क्योंकि अक्सरवादी दृष्टिकोण पक्षपाती (शून्य की ओर सिकुड़) अनुमानकर्ताओं द्वारा कुछ उलझन में है।

Answer 2

दो बिंदु:

बायेसियन मामले में पीछे वितरण एक वितरण है। रिज प्रतिगमन अनुमान बस एक वेक्टर है$\hat{\beta}$और वितरण नहीं। इस प्रकार वे पूरी तरह से बराबर नहीं हैं।

यह सच है कि बहुभिन्नरूपी सामान्य पूर्व और बहुभिन्नरूपी सामान्य संभावना के मामले में, पीछे वाला बहुभिन्नरूपी सामान्य है जिसका अर्थ है कि उचित रूप से चुने गए रिज पैरामीटर के लिए रिज प्रतिगमन अनुमान।

इसका प्रमाण पूर्व और संभावना के विशेष रूप पर निर्भर करता है और अधिक सामान्य पुजारियों या संभावना कार्यों के लिए काम नहीं करता है।