बायेसियन रैखिक प्रतिगमन में पश्चवर्ती भविष्य कहनेवाला वितरण का मूल्यांकन करें

10

मैं इस बात पर असमंजस में हूँ कि बायेसियन रेखीय प्रतिगमन के लिए पश्चगामी पूर्वानुमान वितरण का मूल्यांकन कैसे किया जाए, पृष्ठ 3 पर यहाँ बताए गए मूल मामले के अतीत , और नीचे कॉपी किया गया।

पी (\tilde{y} | y) = \int पी (\tilde{y} | β, σ^{2}) पी (β, σ^{2} | y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

मूल मामला यह रैखिक प्रतिगमन मॉडल है:

y = एक्स β + ε, y ~ एन (एक्स β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

यदि हम या तो पहले से एक समान पैमाने पर , या सामान्य-व्युत्क्रम-गामा से पहले ( यहां देखें ) के साथ एक समान रूप से उपयोग करते हैं, तो पश्चवर्ती भविष्य कहनेवाला वितरण विश्लेषणात्मक है और छात्र टी है। $\beta$ $\chi^2$ $\sigma^2$

इस मॉडल के बारे में क्या?

y = एक्स β + ε, y ~ एन (एक्स β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

जब , लेकिन जाना जाता है, तो पश्चवर्ती पूर्वानुमान वितरण बहुभिन्नरूपी गाऊसी है। आमतौर पर, आप नहीं जानते , लेकिन इसका अनुमान लगाना होगा। हो सकता है कि आप इसका विकर्ण कहें और विकर्ण को किसी तरह से सहसंयोजकों का कार्य करें। यह गेलमैन के बायेसियन डेटा विश्लेषण के रैखिक प्रतिगमन अध्याय में चर्चा की गई है । $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

क्या इस मामले में उत्तरवर्ती पूर्वानुमान वितरण के लिए एक विश्लेषणात्मक रूप है? क्या मैं सिर्फ एक बहु-छात्र छात्र टी में अपना अनुमान लगा सकता हूं? यदि आप एक से अधिक विचरण का अनुमान लगाते हैं, तो क्या वितरण अभी भी मल्टीवेरिएट छात्र है?

मैं पूछ रहा हूँ क्योंकि मैं पहले से ही हाथ में कुछ कह रहा हूँ । मैं यह जानना चाहता हूं कि क्या यह संभव है कि उदाहरण के लिए रेखीय प्रतिगमन ए, रैखिक प्रतिगमन बी द्वारा भविष्यवाणी की गई हो $\tilde y$

— bill_e
स्रोत

1

यदि आपके पास पिछले वितरण से पीछे के नमूने हैं, तो आप एक मोंटे कार्लो सन्निकटन के साथ भविष्य कहनेवाला वितरण का मूल्यांकन कर सकते हैं

— niandra82

आह धन्यवाद, मैं हमेशा ऐसा कर सकता था। क्या इस मामले में कोई विश्लेषणात्मक सूत्र नहीं है?

— बिल_ए

लिंक टूट रहे हैं, वैसे। यदि आप किसी अन्य तरीके से संदर्भों को शामिल करना चाहते हैं तो बहुत अच्छा होगा।

— मैक्सिम.कं।

6

यदि आप पहले से एक समान मान लेते हैं $\beta$ , तो पीछे के लिए $\beta$ है

β | y ~ एन (\hat{β}, {वी}_{β}) ।

$\beta|y \sim N(\hat{\beta},V_\beta).$ साथ में

\hat{β} = [{एक्स}^{'} Σ^{- 1} एक्स] {एक्स}^{'} y तथा {वी}_{β} = [{एक्स}^{'} Σ^{- 1} एक्स]^{- 1} ।

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$ भविष्य कहनेवाला वितरण खोजने के लिए, हमें अधिक जानकारी की आवश्यकता है। अगर

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$ और सशर्त रूप से स्वतंत्र है

y

$y$ दिया हुआ

β

$\beta$ , फिर

\tilde{y} | y ~ एन (\tilde{एक्स} \hat{β}, \tilde{Σ} + {वी}_{β}) ।

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$ लेकिन आमतौर पर इन प्रकार के मॉडल के लिए,

y

$y$ तथा

\tilde{y}

$\tilde{y}$ सशर्त रूप से स्वतंत्र नहीं हैं, इसके बजाय, हमारे पास आमतौर पर हैं

(\begin{matrix} y \\ \tilde{y} \end{matrix}) ~ एन ([\begin{matrix} एक्स β \\ \tilde{एक्स} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) ।

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ अगर ऐसा है, तो

\tilde{y} | y ~ एन (\tilde{एक्स} \hat{β} + Σ_{21} Σ^{- 1} (y - एक्स \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) ।

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$ यह मानता है

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$ तथा

\tilde{Σ}

$\tilde{\Sigma}$ सभी जाने जाते हैं। जैसा कि आप बताते हैं, आमतौर पर वे अज्ञात हैं और अनुमान लगाने की आवश्यकता है। सामान्य संरचनाओं के लिए, जिनमें यह संरचना होती है, उदाहरण के लिए समय श्रृंखला और स्थानिक मॉडल, आम तौर पर पूर्वानुमान वितरण के लिए एक बंद रूप नहीं होगा।

— jaradniemi
स्रोत

2

गैर-जानकारीपूर्ण या बहुभिन्नरूपी सामान्य-विसारत पुजारियों के तहत, आपके पास एक शास्त्रीय पारस्परिक परिवर्तन, कई प्रतिगमन के लिए एक बहुभिन्नरूपी छात्र के वितरण के रूप में विश्लेषणात्मक रूप है। मुझे लगता है कि इस दस्तावेज़ के घटनाक्रम आपके प्रश्न से संबंधित हैं (आप परिशिष्ट A :-) पसंद कर सकते हैं)। मैंने आमतौर पर WinBUGS और विश्लेषणात्मक रूप का उपयोग करके प्राप्त एक पूर्ववर्ती पूर्वानुमान वितरण के साथ परिणाम की तुलना की: वे बिल्कुल समकक्ष हैं। समस्या केवल तब कठिन हो जाती है जब आपके पास मिश्रित-प्रभाव वाले मॉडल में अतिरिक्त यादृच्छिक प्रभाव होते हैं, खासकर असंतुलित डिजाइन में।

सामान्य तौर पर, शास्त्रीय प्रतिगमन के साथ, y और independent सशर्त रूप से स्वतंत्र होते हैं (अवशिष्ट iid होते हैं)! बेशक अगर ऐसा नहीं है, तो यहां प्रस्तावित समाधान सही नहीं है।

आर में, (यहां, समान पुजारियों के लिए समाधान), यह मानते हुए कि आपने अपने मॉडल में एक प्रतिक्रिया का एक lm मॉडल ("मॉडल" नाम दिया है), और इसे "मॉडल" कहा, यहां बताया गया है कि बहुभिन्नरूपी पूर्वानुमानात्मक वितरण कैसे प्राप्त करें

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

अब, ysim की मात्रा भविष्य कहनेवाला वितरण से बीटा-प्रत्याशा सहिष्णुता अंतराल है, आप निश्चित रूप से सीधे नमूना वितरण का उपयोग कर सकते हैं जो आप चाहते हैं।

— पियरे लेब्रन
स्रोत