मार्कोव चेन और मार्कोव चेन मोंटे कार्लो के बीच क्या संबंध है

Question

मैं एसएएस का उपयोग करके मार्कोव श्रृंखलाओं को समझने की कोशिश कर रहा हूं। मैं समझता हूं कि एक मार्कोव प्रक्रिया वह है जहां भविष्य की स्थिति केवल वर्तमान स्थिति पर निर्भर करती है, न कि पिछली स्थिति पर और एक संक्रमण मैट्रिक्स है जो एक राज्य से दूसरे राज्य में संक्रमण संभावना को पकड़ती है।

लेकिन फिर मैं इस पद पर आया: मार्कोव चेन मोंटे कार्लो। क्या मैं जानना चाहता हूं कि क्या मार्कोव चेन मोंटे कार्लो वैसे भी मार्कोव प्रक्रिया से संबंधित है जो मैं ऊपर वर्णित करता हूं?

Answer 1

खैर, हां, दोनों के बीच एक संबंध है क्योंकि MCMC से ड्रॉ एक मार्कोव श्रृंखला बनाते हैं। गेलमैन, बायेसियन डेटा विश्लेषण से (तीसरा संस्करण), पी। 265:

मार्कोव श्रृंखला सिमुलेशन (भी बुलाया मार्कोव श्रृंखला मोंटे कार्लो या एमसीएमसी) एक सामान्य विधि के मूल्यों ड्राइंग के आधार पर है उचित वितरण से और फिर सही करने के लिए उन बेहतर लक्ष्य पिछला वितरण, अनुमान लगाने के लिए ड्रॉ पी ( θ | y ) । नमूने को क्रमिक रूप से किया जाता है, अंतिम खींचे गए मूल्य के आधार पर नमूना ड्रॉ के वितरण के साथ; इसलिए, ड्रॉ एक मार्कोव श्रृंखला बनाते हैं।$\theta$$p(\theta|y)$

Comments

उम्म ठीक है, लेकिन मुझे यादृच्छिक नमूनों को बनाने के लिए एक मार्कोव प्रक्रिया की आवश्यकता क्यों है, सामान्य, बर्नौली, ऑक्यूपियन आदि जैसी कई अन्य प्रक्रियाएं हैं

— विक्टर

@ विक्टर मुझे लगता है कि आपने MCMC के उपयोग के मामले में अपनी दृष्टि खो दी है । जब हम पोस्टीरियर डिस्ट्रीब्यूशन का कोई विश्लेषणात्मक रूप नहीं लेते हैं, तो हम बायसीयन आंकड़ों में MCMC का उपयोग करते हैं।

— साइकोरैक्स का कहना है कि मोनिका

+1 बायेसियन आँकड़े संभवतः MCMC का सबसे स्पष्ट अनुप्रयोग है (जहां लक्ष्य वितरण एक संयुक्त पोस्टीरियर है) लेकिन एकमात्र संभव नहीं है।

— Glen_b -Reinstate Monica

Answer 2

दोनों अवधारणाओं के बीच संबंध है कि मार्कोव श्रृंखला मोंटे कार्लो (उर्फ एमसीएमसी) तरीके मार्कोव श्रृंखला सिद्धांत पर भरोसा करते हैं एक जटिल लक्ष्य वितरण से सिमुलेशन और मोंटे कार्लो अनुमानों का उत्पादन करने के ।$\pi$

$X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

$$X_i=f(X_{i-1},\epsilon_i)$$ $f$$\pi$$\epsilon_i$$X_i$$\pi$$i$$\infty$

MCMC एल्गोरिथ्म का सबसे आसान उदाहरण स्लाइस नमूना है : इस एल्गोरिथ्म के पुनरावृत्ति i पर, करते हैं

1. $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ (which amounts to generating a second independent $\epsilon^2_i$)

For instance, if the target distribution is a normal $\mathrm{N}(0,1)$ [for which you obviously would not need MCMC in practice, this is a toy example!] the above translates as

1. simulate $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. simulate $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$, i.e., $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ with $\epsilon_i^2\sim\mathrm{U}(0,1)$

or in R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

Here is a representation of the output, showing the right fit to the $\mathrm{N}(0,1)$ target and the evolution of the Markov chain $(X_i)$.

And here is a zoom on the evolution of the Markov chain $(X_i,\epsilon^1_i\pi(X_i))$ over the last 100 iterations, obtained by

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

that follows vertical and horizontal moves of the Markov chain under the target density curve.