रिग्रेसन सेटिंग्स में बायेसियन पोस्टीरियर के रूप में लगातार नमूनाकरण वितरण की व्याख्या कब नहीं की जा सकती है?

मेरे वास्तविक प्रश्न अंतिम दो पैराग्राफ में हैं, लेकिन उन्हें प्रेरित करने के लिए:

यदि मैं एक यादृच्छिक चर के अर्थ का अनुमान लगाने का प्रयास कर रहा हूं जो एक ज्ञात चर के साथ एक सामान्य वितरण का अनुसरण करता है, तो मैंने पढ़ा है कि एक समान वितरण में औसत परिणाम से पहले एक समान डाल रहा है जो संभावना फ़ंक्शन के आनुपातिक है। इन स्थितियों में, बायेसियन विश्वसनीय अंतराल लगातार विश्वासवादी अंतराल के साथ पूरी तरह से ओवरलैप हो जाता है, और बायेसियन अधिकतम एक पोस्टवर्डी अनुमान, निरंतरवादी अधिकतम संभावना अनुमान के बराबर है।

एक साधारण रेखीय प्रतिगमन सेटिंग में,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

पर एक समान डालने से पहले और एक उलटा-गामा पर पहले पीछे में छोटे पैरामीटर मान परिणामों के साथ है कि बहुत frequentist के समान होगा , और पिछला वितरण के लिए एक विश्वसनीय अंतराल of जो अधिकतम संभावना अनुमान के आसपास विश्वास अंतराल के समान होगा। वे बिल्कुल ही नहीं होगा क्योंकि पर पहले $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ प्रभाव की एक छोटी राशि डालती है, और अगर पीछे आकलन एमसीएमसी सिमुलेशन कि विसंगति का एक अन्य स्रोत का परिचय देंगे के माध्यम से किया जाता है, लेकिन आसपास बायेसियन विश्वसनीय अंतराल और चारों ओर frequentist विश्वास अंतराल हो जाएगा एक दूसरे के बहुत करीब, और निश्चित रूप से नमूना आकार बढ़ जाता है के रूप में वे जुटना चाहिए के रूप में संभावना के प्रभाव पूर्व के उस पर हावी हो जाता है। $\hat\beta^{MAP}$ $\hat\beta^{MLE}$

लेकिन मैंने पढ़ा है कि वहाँ भी प्रतिगमन स्थितियाँ हैं जहाँ ये निकट-समतुल्यताएं नहीं हैं। उदाहरण के लिए, यादृच्छिक प्रभावों, या लॉजिस्टिक प्रतिगमन के साथ पदानुक्रमित प्रतिगमन - ये ऐसी परिस्थितियां हैं, जहां मैं इसे समझता हूं, कोई "अच्छा" उद्देश्य या संदर्भ पुजारी नहीं हैं।

$P(\beta|X)$ और मुझे पहले से जानकारी नहीं है कि मैं इसमें शामिल होना चाहता हूं, क्यों मैं इन स्थितियों में लगातार अधिकतम संभावना अनुमान के साथ आगे नहीं बढ़ सकता हूं और परिणामस्वरूप गुणांक अनुमानों और मानक त्रुटियों की व्याख्या कर सकता हूं क्योंकि बायेसियन एमएपी अनुमान और मानक विचलन, और इनका इलाज करते हैं "पूर्ववर्ती" अनुमान पूर्व के परिणामस्वरूप होता है जो कि पूर्ववर्ती के स्पष्ट सूत्रीकरण का पता लगाने के प्रयास के बिना "असंसदीय" रहा होगा जो इस तरह के पोस्टीरियर को जन्म देगा? सामान्य तौर पर, प्रतिगमन विश्लेषण के दायरे में, इन पंक्तियों के साथ आगे बढ़ना ठीक है (बाद की तरह संभावना का इलाज करते हुए) और कब ठीक नहीं है? अक्सर उन तरीकों के बारे में जो संभावना आधारित नहीं हैं, जैसे कि अर्ध-संभावना वाले तरीके,

क्या उत्तर इस बात पर निर्भर करते हैं कि मेरे अनुमान का लक्ष्य गुणांक बिंदु का अनुमान है, या किसी विशेष सीमा के भीतर गुणांक की संभावना है, या पूर्वानुमान वितरण की मात्रा?

— Yakkanomica
स्रोत

$p$

$H_0$ $p$ $H_0$

$p$ $P(D|H_0)$ $P(H_0|D)$

$p$ $\theta$

L (θ | D) = P (D | θ)

$L(\theta | D) = P(D|\theta)$

$P(\theta|D)$ $\theta$

\underset{posterior}{\underset{⏟}{P (θ | D)}} \propto \underset{likelihood}{\underset{⏟}{P (D | θ)}} \times \underset{prior}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

$p$

इसलिए, जबकि अधिकतम संभावना अनुमान समान होना चाहिए क्योंकि एमएपी बायेसियन का अनुमान समान पुजारियों के तहत है, आपको यह याद रखना होगा कि वे एक अलग प्रश्न का उत्तर देते हैं।

कोहेन, जे। (1994) पृथ्वी गोल है (p <.05)। अमेरिकी मनोवैज्ञानिक, 49, 997-1003।

— टिम
स्रोत

आपके उत्तर के लिए धन्यवाद @ टिम। मुझे स्पष्ट होना चाहिए था - मैं समझता हूं कि पी (डी। एच) और पी (एच। डी) सामान्य रूप से समान नहीं हैं, और यह कि फ़्रीक्वेंटर्स और बायेसियन राय के बारे में अलग-अलग हैं कि क्या मापदंडों को संभाव्यता वितरण असाइन करना उचित है ( या परिकल्पना अधिक आम तौर पर)। मैं उन स्थितियों के बारे में पूछ रहा हूं, जिनमें (अक्सरवादी) एक अनुमानक का नमूना वितरण संख्यात्मक रूप से (बायेसियन) सही पैरामीटर मान के पीछे वितरण के बराबर होगा ।

— यक्कानोमिका

मेरी पिछली टिप्पणी की निरंतरता: आपने लिखा है: "इसलिए, जबकि अधिकतम संभावना अनुमान समान होना चाहिए, समान रूप से पुजारियों के तहत एमएपी बायेसियन अनुमान," - मैं पूछ रहा हूं कि क्या ऐसी परिस्थितियां हैं जिनमें यह संबंध टूट जाता है - दोनों संदर्भ में बिंदु का अनुमान और उनके आसपास वितरण।

— यक्कानोमिका

एक अंतिम परिशिष्ट - कुछ लोग कहेंगे कि बायेसियन दृष्टिकोण का मुख्य गुण यह है कि यह लचीले ढंग से पूर्व ज्ञान को शामिल करने की क्षमता है। मेरे लिए, बायेसियन दृष्टिकोण की अपील व्याख्या में है - एक पैरामीटर को संभाव्यता वितरण असाइन करने की क्षमता। पुजारियों को निर्दिष्ट करने की आवश्यकता एक उपद्रव है। मैं जानना चाहता हूं कि मैं किन स्थितियों में बार-बार आने वाले तरीकों का उपयोग कर सकता हूं, लेकिन परिणामों पर बायेसियन की व्याख्या को यह तर्क देकर असाइन कर सकता हूं कि लगातार और बेयसियन परिणाम संयोगवश गैर-विरूपताओं के तहत संख्यात्मक रूप से मेल खाते हैं।

— याक्कानोमिका

@Yakkanomica मैं समझता हूं, यह एक दिलचस्प सवाल है, लेकिन सरल उत्तर (जैसा कि ऊपर कहा गया है) यह है कि आपको इस तरह की व्याख्याएं नहीं करनी चाहिए क्योंकि बार-बार के तरीके बेयसियन की तुलना में अलग सवाल का जवाब देते हैं। एमएल और एमएपी बिंदु अनुमानों पर सहमत होना चाहिए, लेकिन विश्वास अंतराल और एचडीआई अलग-अलग हो सकते हैं और इंटरचेंजबिलिटी की व्याख्या नहीं की जानी चाहिए।

— टिम

लेकिन @Tim, ऐसी परिस्थितियाँ हैं जिनमें आत्मविश्वास अंतराल और HDI ओवरलैप करते हैं। उदाहरण के लिए, p.1908 पर PRO.1908 पर बायसियन पोस्टीरियर अनुमानों (गुणांक पर आईजी पुजारियों और पैमाने पर पूर्व आईजी पर आधारित) के साथ एमएल अनुमानों की तुलना करें । PROC GENMOD उदाहरण । एमएल पॉइंट अनुमान और 95% आत्मविश्वास सीमा बायेसियन पोस्टीरियर मीन अनुमान और 95% एचपीडी अंतराल के समान है।

— युकानोमिका