मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम के साथ एमसीएमसी: प्रस्ताव चुनना

Question

हमें एक 3 पैरामीटर फ़ंक्शन के अभिन्न मूल्यांकन के लिए एक सिमुलेशन करने की आवश्यकता है, हम कहते हैं $f$, जिसका बहुत जटिल सूत्र है। इसे वितरित करने के लिए मूल्यों को उत्पन्न करने के लिए मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम को गणना करने और कार्यान्वित करने के लिए एमसीएमसी विधि का उपयोग करने के लिए कहा जाता है$f$, और यह सुझाव दिया गया कि प्रस्ताव वितरण के रूप में एक सामान्य 3 संस्करण का उपयोग किया जाए। इसके बारे में कुछ उदाहरणों को पढ़ते हुए, मैंने देखा है कि तब कुछ तय मापदंडों के साथ एक सामान्य का उपयोग करते हैं$N(\mu, \sigma)$ और कुछ एक चर माध्य के साथ उपयोग करते हैं $N(X, \sigma)$, कहाँ पे $X$ के अनुसार वितरित अंतिम मान है $f$। मुझे दोनों दृष्टिकोणों के बारे में कुछ संदेह हैं:

1) हमारे प्रस्ताव वितरण के नए माध्यम के रूप में अंतिम स्वीकृत मूल्य चुनने का क्या मतलब है? मेरा अंतर्ज्ञान कहता है कि यह गारंटी देनी चाहिए कि हमारे मूल्य वितरित मूल्यों के करीब होंगे$f$और स्वीकृति की संभावना अधिक होगी। लेकिन क्या यह हमारे नमूने को बहुत अधिक केंद्रित नहीं करता है? यह गारंटी दी जाती है कि, यदि मुझे अधिक नमूने मिलते हैं, तो श्रृंखला स्थिर हो जाएगी?

2) तय मापदंडों का चयन नहीं करेंगे (के बाद से$f$क्या वास्तव में विश्लेषण करना कठिन है) एल्गोरिथम को शुरू करने के लिए हमें पहले नमूने के लिए वास्तव में कठिन और निर्भर होना चाहिए? इस मामले में, जो सबसे अच्छा है उसे खोजने के लिए सबसे अच्छा तरीका क्या होगा?

क्या उन तरीकों में से एक दूसरे से बेहतर है या यह मामले पर निर्भर करता है?

मुझे उम्मीद है कि मेरे संदेह स्पष्ट हैं और मुझे खुशी होगी अगर कुछ साहित्य दिया जा सकता है (मैंने विषय के बारे में कुछ कागजात पढ़े हैं, लेकिन अधिक बेहतर है!)

अग्रिम में धन्यवाद!

Answer 1

1) आप इस पद्धति के बारे में एक यादृच्छिक चलना दृष्टिकोण के रूप में सोच सकते हैं। जब प्रस्ताव वितरण$x \mid x^t \sim N( x^t, \sigma^2)$, यह आमतौर पर मेट्रोपोलिस एल्गोरिथ्म के रूप में जाना जाता है। अगर$\sigma^2$बहुत छोटा है, आपके पास एक उच्च स्वीकृति दर होगी और बहुत धीरे-धीरे लक्ष्य वितरण का पता लगाना होगा। वास्तव में, यदि$\sigma^2$बहुत छोटा है और वितरण बहु-मोडल है, नमूना किसी विशेष मोड में फंस सकता है और लक्ष्य वितरण का पूरी तरह से पता लगाने में सक्षम नहीं होगा। दूसरी ओर, यदि$\sigma^2$बहुत बड़ा है, स्वीकृति दर बहुत कम होगी। चूंकि आपके पास तीन आयाम हैं, इसलिए आपके प्रस्ताव वितरण में एक सहसंयोजक मैट्रिक्स होगा$\Sigma$जो प्रत्येक आयाम के लिए अलग-अलग संस्करण और सहसंयोजन की आवश्यकता होगी। एक उपयुक्त चुनना$\Sigma$ मुश्किल हो सकता है।

2) यदि आपका प्रस्ताव वितरण हमेशा होता है $N(\mu, \sigma^2)$, तब यह स्वतंत्र मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम है क्योंकि आपका प्रस्ताव वितरण आपके वर्तमान नमूने पर निर्भर नहीं करता है। यह विधि सबसे अच्छा काम करती है यदि आपका प्रस्ताव वितरण उस लक्ष्य वितरण का एक अच्छा सन्निकटन है जिससे आप नमूना लेना चाहते हैं। आप सही हैं कि एक अच्छा सामान्य सन्निकटन चुनना मुश्किल हो सकता है।

न तो विधि की सफलता नमूनाकर्ता के शुरुआती मूल्य पर निर्भर होनी चाहिए। कोई भी बात नहीं जहां आप शुरू करते हैं, मार्कोव श्रृंखला को अंततः लक्ष्य वितरण में परिवर्तित करना चाहिए। अभिसरण की जांच करने के लिए, आप विभिन्न प्रारंभिक बिंदुओं से कई श्रृंखलाएं चला सकते हैं और एक अभिसरण निदान जैसे कि गेलमैन-रुबिन अभिसरण नैदानिक ​​प्रदर्शन कर सकते हैं।

Comments

मुझे यकीन नहीं है कि बयान: "2) यदि आपका प्रस्ताव वितरण हमेशा होता है $N(\mu,\sigma^2)$, तो यह स्वतंत्र मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम है क्योंकि आपका प्रस्ताव वितरण आपके वर्तमान नमूने पर निर्भर नहीं करता है: "सही है क्योंकि नमूनों को आकर्षित नहीं किया गया है $N(\mu,\sigma^2)$सममित और इसलिए यह अधिक सही ढंग से मेट्रोपोलिस-एल्गोरिथ्म के बजाय महानगर एल्गोरिथम कहलाएगा। मुझे अपने आप पर पूरा यकीन नहीं है इसलिए मैं भी सवाल पूछ रहा हूं।

— राग

@rhody। मेट्रोपोलिस एल्गोरिथ्म आपके वर्तमान स्थान पर कंडीशनिंग को नहीं गिराता है। पूरे बिंदु को धीरे-धीरे अपने वर्तमान स्थान से एक सममित प्रस्ताव के साथ पैरामीटर स्थान के चारों ओर घूमना है। किसी भी सममित प्रस्ताव का उपयोग करना जो आपके वर्तमान स्थान और महानगर स्वीकृति संभावना गणना पर निर्भर करता है, आप अंततः लक्ष्य वितरण में परिवर्तित हो जाएंगे। स्वतंत्र मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम के लिए, आप चाहते हैं कि आपका प्रस्ताव वितरण लक्ष्य वितरण का एक अनुमान हो, और आप स्वीकृति संभावना के लिए एक अलग गणना का उपयोग करें।

— jsk

@rhody। इसके अलावा, यह सच है कि सामान्य वितरण एक सममित वितरण है, लेकिन यह यहां वर्णित समरूपता का प्रकार नहीं है। यदि q आपका प्रस्ताव वितरण है, तो प्रस्ताव वितरण सममित है यदि q (Y | X) = q (X | Y) | अगर$q\sim N(\mu,\sigma^2)$, तो क्यू सममित नहीं है क्योंकि $q(Y)\neq q(X)$ सबके लिए $X$ तथा $Y$।

— jsk

@jsk $x' \sim N(x, \varepsilon)$सममित माना जाता है, है ना?

— user76284