MCMC के लिए एक व्यावहारिक उदाहरण

Question

मैं MCMC से संबंधित कुछ व्याख्यानों से गुजर रहा था। हालाँकि, मुझे इसका अच्छा उदाहरण नहीं मिलता कि इसका उपयोग कैसे किया जाता है। क्या कोई मुझे एक ठोस उदाहरण दे सकता है। सभी मैं देख सकता हूं कि वे एक मार्कोव श्रृंखला चलाते हैं और कहते हैं कि इसका स्थिर वितरण वांछित वितरण है।

मैं एक अच्छा उदाहरण चाहता हूं जहां वांछित वितरण से नमूना लेना कठिन है। इसलिए हम एक मार्कोव श्रृंखला बनाते हैं। मैं यह जानना चाहता हूं कि संक्रमण मैट्रिक्स का चयन कैसे किया जाए ताकि मार्कोव श्रृंखला का इसका स्थिर वितरण लक्ष्य वितरण हो

Comments

बेसिक मार्कोव श्रृंखला सिद्धांत का उपयोग यह दिखाने के लिए किया जाता है कि किसी विशेष नमूने योजना में एक स्थिर वितरण होगा जो वांछित संयुक्त वितरण है। सरलतम उदाहरण के लिए, वेनिला गिब्स नमूना पूरे सशर्त वितरण से अनुकरण करता है। संबंधित संक्रमण कर्नेल, एक साथ लिया जाता है, अगर वे अभिसरण के लिए शर्तों को पूरा करते हैं (अक्सर सीधे दिखाने के लिए) आसानी से स्थिर वितरण के रूप में संयुक्त वितरण के लिए दिखाया जा सकता है। इसी तरह मेट्रोपोलिस हेस्टिंग्स के लिए, और इसी तरह। ऐसा लगता है कि व्याख्यान आप देख रहे हैं कि कैसे MCMC एक मार्कोव श्रृंखला नहीं है

— Glen_b -Reate Monica

Answer 1

वितरण का एक अच्छा उदाहरण जो हार्ड-कोर मॉडल से नमूना करना मुश्किल है, इस पृष्ठ को अवलोकन के लिए देखें:

http://www.mathematik.uni-ulm.de/stochastik/lehre/ss06/markov/skript_engl/node34.html

यह मॉडल कुछ निश्चित n के लिए ग्रिड पर वितरण को परिभाषित करता है , जहां ग्रिड के प्रत्येक बिंदु पर आपके पास एक या शून्य का मान हो सकता है। एक ग्रिड के लिए हार्ड-कोर मॉडल के तहत स्वीकार्य होने के लिए, ग्रिड पर कोई भी आसन्न अंक दोनों का मान 1 नहीं हो सकता है।$n \times n$$n$

नीचे दी गई छवि हार्ड-कोर मॉडल के तहत ग्रिड के लिए एक उदाहरण स्वीकार्य कॉन्फ़िगरेशन दिखाती है । इस छवि में लोगों को काले डॉट्स के रूप में दिखाया गया है, और शून्य को सफेद के रूप में दिखाया गया है। ध्यान दें कि दो काले बिंदु आसन्न नहीं हैं।$8 \times 8$

मेरा मानना ​​है कि इस मॉडल के लिए प्रेरणा भौतिकी से आती है, आप ग्रिड में प्रत्येक स्थिति का एक कण होने के बारे में सोच सकते हैं, और उस स्थिति में मूल्य विद्युत आवेश या स्पिन का प्रतिनिधित्व करते हैं।

हम स्वीकार्य ग्रिड की जनसंख्या है कि से समान रूप से नमूने के लिए चाहते हैं, तो स्वीकार्य ग्रिड का सेट है, हम नमूने के लिए चाहते हैं ई ∈ ई ऐसा है कि$E$$e \in E$

$p(e) = \frac{1}{|E|}$

$|E|$

$n \times n$$|E|$

MCMC के बारे में एक अच्छी बात यह है कि यह आपको उन वितरणों से नमूना लेने की अनुमति देता है, जहाँ स्थिरांक को सामान्य बनाना मुश्किल है या मूल्यांकन करना असंभव है।

मैं आपको बताता हूं कि इस समस्या के लिए एमसीएमसी को कैसे लागू किया जाए, लेकिन यह अपेक्षाकृत सीधा है।

Answer 2

मुझे लगता है कि मैं आपको सबसे अच्छा उदाहरण दे सकता हूं:

एक मार्कोव चेन मोंटे कार्लो का उदाहरण मुरली हरन द्वारा दिया गया है

जिसमें आर में कुछ उपयोगी कोड शामिल हैं।

मुझे लगता है कि मैं यहां लेख को पुन: पेश कर सकता हूं, लेकिन इसका कोई मतलब नहीं है।

Answer 3

आंकड़ों में एक और चुनौतीपूर्ण मुद्दा। सवाल पुराना है, लेकिन ऑन-लाईन के परिचयात्मक उदाहरणों से मुश्किल है। तो मुझे दो महान उदाहरणों को सरल बनाने दें अगर कोई व्यक्ति एमसीआर द्वारा पृष्ठरैंक भूमि के मार्कोव यादृच्छिक चलना का अनुसरण करता है , और उत्तर का पालन करने के लिए एक आसान के लिए प्रत्याशा से भरा है। कितना पसंद है? यह एक अनुवर्ती प्रश्न हो सकता है।

FIRST EXAMPLE:

$N(0,1)$

के द्विआधारी निर्णय: कठिनाई को साकार सभी यांत्रिक चरणों के माध्यम से जाने के बाद, वहाँ सिर्फ एक जादुई चाल है कि में है स्वीकार करने या खारिज करने के लिए एक प्रस्तावित मूल्य ।

$x$mean$0$sd$~ 1$rnorm(10000)

eps$\epsilon$$x_i$$x_{i+1}$runif(1, - eps, eps)$x_i$

हर प्रस्तावित मूल्य इस प्रकार एक यादृच्छिक फैशन में पूर्व मूल्य से अलग होगा, और सीमाओं के भीतर [- eps,+ eps]।

$i$$i + 1$ । यदि संदेह में यहाँ जाना है , या दादी से पूछें जो सभी पर ध्यान दे रही है "आप अपने ज्ञान को क्वांटम भौतिकी कैसे समझाएंगे?" प्रश्नों के प्रकार (मेट्रिक्स अच्छे नहीं लगते; ;-))।

$N(0,1)$$x_{i+1}$$x_{i}$ ), सिर्फ इस तरह:

min(1, dnorm(candidate_value)/dnorm(x))$1$$N(0,1)$ $pdf$$x_{i+1}$$x_i$min(1, ...)dnorm

min(1, dnorm(candidate_value)/dnorm(x))runif(1)$0$$1$x[i+1]x[i]

sd$1$$0$

$0$x = 0; vec[1] = x

SECOND EXAMPLE:

यह अधिक रोमांचक है, और एक डाटासेट को दिए गए यादृच्छिक मापदंडों के लिए लॉग संभावना की गणना करके एक रेखीय प्रतिगमन वक्र के मापदंडों का अनुमान लगाने के लिए संदर्भ बनाता है । हालाँकि, कोड लाइनों का एक्सिज़ेस पहले से ही इसी तरह के चरणों का पालन करते हुए, यहां बचाए गए संघनित सिमुलेशन में बनाया गया है ।

Comments

कुछ मामूली सुधारों की जरूरत है: " सीएमसीएम द्वारा यहाँ की भूमि " ... के बारे में फ़्लिपिंग की आवश्यकता है। " रोसेनब्लथ-हेटिंग " .... शायद वहाँ एक अतिरिक्त "एस" की आवश्यकता है। मैं कहूंगा कि पहला उदाहरण "से नमूना करना मुश्किल नहीं है" (जैसा कि सवाल पूछता है)। आपके दोनों उदाहरण मेट्रोपोलिस-हेस्टिंग्स (जो निश्चित रूप से महत्वपूर्ण हैं) के रूप में दिखते हैं, लेकिन उससे अधिक एमसीएमसी। सिर्फ एक उदाहरण के रूप में, कई महान लोग गिब्स नमूने का उपयोग करते हैं, अक्सर जेएजीएस / बीयूजीएस / आदि के माध्यम से। वहाँ प्रस्तावित कदम की स्वीकृति से संबंधित कोई निर्णय नहीं - आप हमेशा चलते हैं।

— Glen_b -Reinstate Monica

मैंने लापता "एस" को ठीक किया, सीएमसीएम आइसोमेरिक वर्तनी। नाम समस्या को संबोधित करते हुए YouTube पर संभवतः अनियंत्रित हाइपरलिंक से छुटकारा पा लिया। स्पष्ट किया कि मैंने (पुराने) प्रश्न के विशिष्ट अनुरोध के बावजूद विस्तृत करने के लिए पहला उदाहरण क्यों चुना। मैं इन सभी मुद्दों की ओर आपके संकेत की सराहना करता हूं। मैं आपकी अंतिम पंक्ति के निहितार्थ के बारे में निश्चित नहीं हूँ।

— एंटोनी परेलाडा

यह केवल पंक्ति का संदर्भ है ” बस एक जादुई चाल है: प्रस्तावित मूल्य को स्वीकार या अस्वीकार करने का द्विआधारी निर्णय "; यह इंगित करने के लिए कि यह सभी MCMC एल्गोरिदम की संपत्ति नहीं है। इसका मतलब यह नहीं है कि आपके उत्तर के साथ कोई समस्या है; यदि आप चाहें तो आप इसे स्पष्टीकरण के रूप में मान सकते हैं। आइसोमेरिक बिट अच्छा था।

— Glen_b -Reinstate Monica

Answer 4

यह Youtube वीडियो एक साधारण समस्या का बहुत अच्छा दृश्य है जिसे MCMC का उपयोग करके हल किया जाता है।

ब्याज का वितरण संभावित ढलानों पर पश्च वितरण है और एक रेखीय प्रतिगमन (ऊपरी-दाएं पैनल) में इंटरसेप्ट करता है। ढलानों और अंतःक्षेपों के कुछ संयोजन बहुत ही संभावित हैं (अर्थात उनमें प्रेक्षित डेटा बिंदुओं के निर्माण की उच्च संभावना है और हमारे अनुरूप हैं प्राथमिकताओं के ), इसलिए उन्हें अक्सर नमूना लिया जाना चाहिए। अन्य संयोजन असंभव हैं (उदाहरण के लिए, यदि वे एक नीली रेखा के अनुरूप हैं जो डेटा बिंदुओं के बादल से नहीं गुजरते हैं), और इसे कम बार समतल किया जाना चाहिए।

निचले-बाएँ में बड़ा पैनल मार्कोव श्रृंखला द्वारा ढलानों के दो-आयामी स्थान और इंटरसेप्ट्स के माध्यम से लिया गया रास्ता दिखाता है। हिस्टोग्राम्स श्रृंखला की प्रगति का एक आयामी सारांश दिखाते हैं। एक बार श्रृंखला काफी लंबे समय तक चलने के बाद, हमारे पास ढलान और अवरोधन के संभावित मूल्यों के वितरण के बहुत अच्छे अनुमान हैं।

इस मामले में, MCMC ओवरकिल है, लेकिन कुछ समस्याएं हैं जहां एक समाधान को लिखना मुश्किल है और इसे सीधे हल करने की कोशिश करने के बजाय मार्कोव श्रृंखला के साथ संभावनाओं का पता लगाने के लिए बहुत कुछ समझ में आता है।