क्या गिब्स सैम्पलिंग एल्गोरिथ्म विस्तृत संतुलन की गारंटी देता है?

मेरे पास सर्वोच्च अधिकार ^{1 पर है} कि गिब्स सैंपलिंग मार्कोव चेन मोंटे कार्लो नमूना के लिए मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम का एक विशेष मामला है। एमएच एल्गोरिदम हमेशा विस्तृत शेष संपत्ति के साथ एक संक्रमण संभावना देता है; मुझे उम्मीद है कि गिब्स को भी चाहिए। तो निम्नलिखित सरल मामले में मैं कहां गलत हो गया हूं?

लक्ष्य वितरण $\pi(x, y)$ लिए दो असतत (सरलता के लिए) चर पर, पूर्ण सशर्त वितरण हैं:

\begin{aligned} q_{1} (x; y) & = \frac{π (x, y)}{\sum_{z} π (z, y)} \\ q_{2} (y; x) & = \frac{π (x, y)}{\sum_{z} π (x, z)} \end{aligned}

$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$

जैसा कि मैं गिब्स नमूनाकरण को समझता हूं, संक्रमण संभावना लिखा जा सकता है:

P r o b {(y_{1}, y_{2}) \to (x_{1}, x_{2})} = q_{1} (x_{1}; y_{2}) q_{2} (x_{2}; x_{1})

$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$

सवाल यह है कि क्या लेकिन निकटतम मैं प्राप्त कर सकता है यह बिलकुल अलग है, और इसका विस्तृत अर्थ नहीं है। किसी भी विचार के लिए धन्यवाद!

π (y_{1}, y_{2}) P r o b {(y_{1}, y_{2}) \to (x_{1}, x_{2})} \overset{?}{=} π (x_{1}, x_{2}) P r o b {(x_{1}, x_{2}) \to (y_{1}, y_{2})},

$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$

\begin{aligned} π (y_{1}, y_{2}) P r o b {(y_{1}, y_{2}) & \to (x_{1}, x_{2})} \\ = π (y_{1}, y_{2}) q_{2} (x_{2}; x_{1}) q_{1} (x_{1}; y_{2}) \\ = \frac{π (x_{1}, x_{2})}{\sum_{z} π (x_{1}, z)} \frac{π (x_{1}, y_{2})}{\sum_{z} π (z, y_{2})} π (y_{1}, y_{2}) \\ = π (x_{1}, x_{2}) q_{2} (y_{2}; x_{1}) q_{1} (y_{1}; y_{2}) \end{aligned}

$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$

mcmc gibbs

— इयान
स्रोत

आपने मार्कोव श्रृंखला के लिए विस्तृत संतुलन दिखाने की कोशिश की जो मार्कोव श्रृंखला के एक संक्रमण को 'गिब्स स्वीप' मानकर प्राप्त किया जाता है, जहाँ आप प्रत्येक घटक को इसके सशर्त वितरण से बदले में नमूना लेते हैं। इस श्रृंखला के लिए, विस्तृत संतुलन संतुष्ट नहीं है। इसके बजाय यह है कि इसके सशर्त वितरण से एक विशेष घटक का प्रत्येक नमूना एक संक्रमण है जो विस्तृत संतुलन को संतुष्ट करता है। यह कहना अधिक सटीक होगा कि गिब्स नमूना थोड़ा सामान्यीकृत महानगर-हेस्टिंग्स का एक विशेष मामला है, जहां आप कई अलग-अलग प्रस्तावों के बीच वैकल्पिक करते हैं। अधिक जानकारी का पालन करें।

झाडू विस्तृत संतुलन को संतुष्ट नहीं करते हैं

मैं एक प्रतिरूप का निर्माण करता हूं। निम्नलिखित तालिका में दिखाए अनुसार संभाव्यता के साथ दो बर्नोली चर ( ) पर विचार करें : $X_1,X_2$ मान लें कि गिब्स स्वीप का आदेश दिया गया है ताकिपहलेका नमूना लिया जाए। राज्यसे राज्यमें जाना एक चाल में असंभव है, क्योंकि इसमेंसेजाने की आवश्यकता होगी। हालाँकि,सेआगे बढ़ने परसकारात्मक संभावना है, अर्थात्

\begin{array}{ccc} X_{2} = 0 & X_{2} = 1 \\ X_{1} = 0 & \frac{1}{3} & \frac{1}{3} \\ X_{1} = 1 & 0 & \frac{1}{3} \end{array}

$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$

X_{1}

$X_1$

(0, 0)

$(0,0)$

(1, 1)

$(1,1)$

(0, 0)

$(0,0)$

(1, 0)

$(1,0)$

(1, 1)

$(1,1)$

(0, 0)

$(0,0)$

। इसलिए हम निष्कर्ष निकालते हैं कि विस्तृत संतुलन संतुष्ट नहीं है।

\frac{1}{4}

$\frac{1}{4}$

हालांकि, इस श्रृंखला में अभी भी एक स्थिर वितरण है जो सही है। विस्तृत शेष एक पर्याप्त, लेकिन आवश्यक नहीं है, लक्ष्य वितरण में परिवर्तित करने के लिए शर्त।

घटक-वार चालें विस्तृत संतुलन को संतुष्ट करती हैं

दो-भिन्न अवस्थाओं पर विचार करें जहां हम इसके सशर्त वितरण से पहले चर का नमूना लेते हैं। के बीच एक कदम और दोनों दिशाओं अगर में शून्य संभावना है और इस तरह इन मामलों में विस्तृत संतुलन स्पष्ट रूप से धारण के लिए। इसके बाद, पर विचार : $(x_1,x_2)$ $(y_1,y_2)$ $x_2 \neq y_2$ $x_2 = y_2$

π (x_{1}, x_{2}) P r o b ((x_{1}, x_{2}) \to (y_{1}, x_{2})) = π (x_{1}, x_{2}) p (y_{1} ∣ X_{2} = x_{2}) = π (x_{1}, x_{2}) \frac{π (y_{1}, x_{2})}{\sum_{z} π (z, x_{2})} = π (y_{1}, x_{2}) \frac{π (x_{1}, x_{2})}{\sum_{z} π (z, x_{2})} = π (y_{1}, x_{2}) p (x_{1} ∣ X_{2} = x_{2}) = π (y_{1}, x_{2}) P r o b ((y_{1}, x_{2}) \to (x_{1}, x_{2})) .

$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$

मेट्रोपोलिस-हेस्टिंग्स चालें घटक-वार चालें कैसे हैं?

पहले घटक से नमूनाकरण, हमारा प्रस्ताव वितरण सशर्त वितरण है। (अन्य सभी घटकों के लिए, हम संभावना साथ वर्तमान मूल्यों का प्रस्ताव करते हैं )। से एक कदम को ध्यान में रखते करने के लिए , लक्ष्य संभावनाओं का अनुपात है $1$ $(x_1, x_2)$ $(y_1, y_2)$

\frac{π (y_{1}, x_{2})}{π (x_{1}, x_{2})} .

$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$

\frac{P r o b ((y_{1}, x_{2}) \to (x_{1}, x_{2}))}{P r o b ((x_{1}, x_{2}) \to (y_{1}, x_{2}))} = \frac{\frac{π (x_{1}, x_{2})}{\sum_{z} π (z, x_{2})}}{\frac{π (y_{1}, x_{2})}{\sum_{z} π (z, x_{2})}} = \frac{π (x_{1}, x_{2})}{π (y_{1}, x_{2})} .

$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$

1

$1$

— जुहो कोक्कल
स्रोत

शानदार जवाब, धन्यवाद (आपके तीसरे खंड में y_2 -> x_2)। जब गिब्स स्वीप को एक कदम कहते हैं, तो क्या किसी प्रारंभिक राज्य से स्थिर वितरण के अभिसरण के लिए स्थिर वितरण (इर्रेड्यूबिलिटी और पुनरावृत्ति के साथ) की मौजूदगी एक पर्याप्त स्थिति है?

— इयान

गिब्स सैंपलर मेट्रोपोलिस-हेस्टिंग्स की एक रचना है, जो स्वीकार्यता संभावना के साथ चलती है। प्रत्येक कदम प्रतिवर्ती है, लेकिन रचना तब तक नहीं है, जब तक कि चरणों का क्रम यादृच्छिक न हो।

— शीआन