MCMC और मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम को समझना

Question

पिछले कुछ दिनों से मैं यह समझने की कोशिश कर रहा हूं कि मार्कोव चेन मोंटे कार्लो (MCMC) कैसे काम करता है। विशेष रूप से मैं मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम को समझने और लागू करने की कोशिश कर रहा हूं। अब तक मुझे लगता है कि मुझे एल्गोरिथ्म की समग्र समझ है, लेकिन कुछ चीजें हैं जो अभी तक मेरे लिए स्पष्ट नहीं हैं। मैं कुछ मॉडल को डेटा में फिट करने के लिए एमसीएमसी का उपयोग करना चाहता हूं। इसकी वजह से मैं एक सीधी रेखा को कुछ देखे गए डेटा D के फिटिंग के लिए मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम की अपनी समझ का वर्णन करूंगा :$f(x)=ax$$D$

1) के लिए प्रारंभिक अनुमान बनाओ । इस सेट एक हमारे वर्तमान के रूप में एक ( एक 0 )। इसके अलावा जोड़ने के एक मार्कोव श्रृंखला (के अंत में सी )।$a$$a$$a$$a_0$$a$$C$

2) चरणों को बार-बार दोहराएं।

3) का मूल्यांकन वर्तमान संभावना ( ) को देखते हुए एक 0 और डी ।${\cal L_0}$$a_0$$D$

4) एक नया प्रस्ताव ( एक 1 के साथ एक सामान्य वितरण से नमूने के द्वारा) μ = एक 0 और σ = रों टी ई पी एस मैं जेड ई । अभी के लिए, s t e p s s i z e स्थिर है।$a$$a_1$$\mu=a_0$$\sigma=stepsize$$stepsize$

5) का मूल्यांकन नई संभावना ( ) दिए गए एक 1 और डी ।${\cal L_1}$$a_1$$D$

6) यदि से बड़ा है एल 0 , स्वीकार एक 1 नया रूप एक 0 के अंत में, संलग्न यह सी और चरण 2 पर जाएँ।${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

7) यदि , L 0 से छोटा है, तो समान वितरण से रेंज [0,1] में एक संख्या ( U ) उत्पन्न करते हैं${\cal L_1}$${\cal L_0}$$U$

8) तो दो likelihoods (के बीच अंतर से छोटी है एल 1 - एल 0 ), स्वीकार एक 1 नया रूप एक 0 के अंत में, संलग्न यह सी और चरण 2 पर जाएँ।$U$${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

$U$${\cal L_1}$${\cal L_0}$$a_0$$C$$a_0$

10) रिपीट का अंत।

$C$

$C$$a$

अब मेरे पास उपरोक्त चरणों के संबंध में कुछ प्रश्न हैं:

• $f(x)=ax$
• क्या यह मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम का सही कार्यान्वयन है?
• चरण 7 में यादृच्छिक संख्या पीढ़ी पद्धति का चयन परिणामों को कैसे बदल सकता है?
• $f(x)=ax+b$

नोट्स / क्रेडिट: ऊपर वर्णित एल्गोरिथ्म की मुख्य संरचना एक MPIA पायथन कार्यशाला के कोड पर आधारित है।

Answer 1

मेट्रोपोलिस-हेस्टिंग्स (एमएच) एल्गोरिदम के आपके विवरण में क्या है, इसके बारे में कुछ गलत धारणाएं हैं।

सबसे पहले, एक को समझना होगा कि एमएच एक नमूना एल्गोरिथ्म है। जैसा कि विकिपीडिया में कहा गया है

सांख्यिकी और सांख्यिकीय भौतिकी में, मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथ्म एक मार्कोव श्रृंखला मोंटे कार्लो (MCMC) विधि है जिसमें संभाव्यता वितरण से यादृच्छिक नमूनों का एक अनुक्रम प्राप्त होता है जिसके लिए प्रत्यक्ष नमूनाकरण मुश्किल है।

$Q(\cdot\vert\cdot)$$f(\cdot)$

1. $x_0$
2. $x^{\star}$$Q(\cdot\vert x_0)$
3. $\alpha=f(x^{\star})/f(x_0)$
4. $x^{\star}$$f$$\alpha$
5. $x^{\star}$

$N$$k$

R में एक उदाहरण निम्नलिखित लिंक में पाया जा सकता है:

http://www.mas.ncl.ac.uk/~ndjw1/teaching/sim/metrop/metrop.html

यह विधि बड़े पैमाने पर मॉडल के मापदंडों के पीछे वितरण से नमूना लेने के लिए बायेसियन आंकड़ों में नियोजित है।

$f(x)=ax$$x$

रॉबर्ट एंड कासेला (2010), आर , चा के साथ मोंटे कार्लो मेथड्स का परिचय । 6, "मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम"

इस साइट में संभावित फ़ंक्शन के अर्थ के बारे में चर्चा करने वाले दिलचस्प संदर्भों के साथ कई सवाल भी हैं।

संभावित ब्याज का एक और सूचक आर पैकेज है mcmc, जो कमांड में गौसियन प्रस्तावों के साथ एमएच एल्गोरिथ्म को लागू करता है metrop()।

Comments

हाय मेरे दोस्त! हां, मैं रेखीय प्रतिगमन के संदर्भ में एमएच में देख रहा हूं। आपने मुझे जो url दिया है वह सब कुछ वास्तव में अच्छा बताता है। धन्यवाद। यदि मैं MH के संबंध में कुछ अन्य प्रश्न के साथ आता हूं तो मैं एक प्रश्न फिर से पोस्ट करूंगा। एक बार फिर धन्यवाद।

— 5