मेट्रोपोलिस हेस्टिंग्स, गिब्स, महत्व और अस्वीकृति के नमूने में क्या अंतर है?

Question

मैं MCMC विधियों को सीखने की कोशिश कर रहा हूं और मेट्रोपोलिस हेस्टिंग्स, गिब्स, इंपोर्टेंस और रिजेक्शन सैंपलिंग में आया हूं। जबकि इनमें से कुछ अंतर स्पष्ट हैं, अर्थात, कैसे गिब्स मेट्रोपोलिस हेस्टिंग्स का एक विशेष मामला है जब हमारे पास पूर्ण सशर्त हैं, तो अन्य कम स्पष्ट हैं, जैसे जब हम गिब्स नमूने के भीतर एमएच का उपयोग करना चाहते हैं, आदि। इनमें से प्रत्येक के बीच के अंतर को देखने का सरल तरीका? धन्यवाद!

Comments

इयान मरे ने अपने व्याख्यान में इसे कम से कम MCMC के संबंध में संबोधित किया ।

— gwr

मैं शीआन से सहमत हूं कि यह एक बहुत व्यापक प्रश्न है; आप चार अलग-अलग चीजों पर प्रभावी ढंग से जानकारी के लिए पूछ रहे हैं, जिनमें से किसी एक की चर्चा (या एक जोड़ी के बीच एक विपरीत) कुछ हद तक लंबे उत्तर के लिए करेगी। हम इस सवाल पर ध्यान केंद्रित करने में कहीं न कहीं सक्षम हो सकते हैं कि चारों तरफ मोंटे कार्लो के तरीके हैं, महत्वपूर्ण नमूने और अस्वीकृति के नमूने एमसीएमसी नहीं हैं (यह कहने के लिए कि वे एमसीएमसी के भीतर इस्तेमाल नहीं किए जा सकते हैं)।

— Glen_b

Answer 1

जॉर्ज कैसेला, मोंटे कार्लो सांख्यिकीय विधियों के साथ हमारी पुस्तक में विस्तृत रूप से , इन विधियों का उपयोग किसी दिए गए वितरण से नमूने का उत्पादन करने के लिए किया जाता है, घनत्व कहते हैं, या तो इस वितरण के बारे में एक विचार प्राप्त करने के लिए, या इसके साथ एक एकीकरण या अनुकूलन समस्या को हल करने के लिए। । उदाहरण के लिए, या का लिए के वितरण का तरीका जब या इस वितरण का एक मात्रा।$f$$f$

$$\int_{\mathcal{X}} h(x) f(x)\text{d}x\qquad h(\mathcal{X})\subset \mathbb{R}$$ $h(X)$$X\sim f(x)$

मोंटे कार्लो और मार्कोव श्रृंखला मोंटे कार्लो के तरीकों की तुलना करने के लिए आप प्रासंगिक मानदंडों का उल्लेख करते हैं, समस्या की पृष्ठभूमि और सिमुलेशन प्रयोग के लक्ष्यों को निर्धारित करने के लिए एक की आवश्यकता होती है, क्योंकि प्रत्येक के पेशेवरों और विपक्ष के मामले अलग-अलग होंगे।

यहां कुछ सामान्य टिप्पणियां हैं जो निश्चित रूप से मुद्दे की जटिलता को कवर नहीं करती हैं :

1. स्वीकार-अस्वीकार के तरीकों का उद्देश्य से आईआईडी नमूना प्रदान करना है । इसे प्राप्त करने के लिए, एक एल्गोरिथ्म डिजाइन करता है जो इनपुट के रूप में एक समान संख्या में , और एक मान देता है जो से प्राप्त होता । पेशेवरों हैं विधि में कोई अनुमान है कि वहाँ: परिणाम सही मायने में से एक आईआईडी नमूना है । विपक्ष हैं कई: (i) के एक लिफाफे का पता लगाकर एल्गोरिथ्म डिजाइन करने कि मानव समय में बहुत महंगा हो सकता है उत्पन्न किया जा सकता; (ii) एल्गोरिथ्म कंप्यूटिंग समय में अक्षम हो सकता है, अर्थात, एक एकल का उत्पादन करने के लिए कई वर्दी की आवश्यकता होती है$f$$u_1,u_2,\ldots$$x$$f$$f$$f$$x$; (iii) के आयाम के साथ वे प्रदर्शन कम हो रहे हैं । संक्षेप में, इस तरह के तरीकों का उपयोग से एक या कुछ सिमुलेशन के अनुकरण के लिए नहीं किया जा सकता जब तक कि वे पहले से ही आर जैसी कंप्यूटर भाषा में उपलब्ध न हों।$X$$f$
2. मार्कोव श्रृंखला मोंटे कार्लो (MCMC) विधियाँ आईड सिमुलेशन विधियों का विस्तार हैं जब आईआईडी सिमुलेशन बहुत महंगा है। वे सिमुलेशन के अनुक्रम का उत्पादन करते हैं जो वितरण को सीमित करता है वितरण । पेशेवरों कि (i) के बारे में कम जानकारी है विधि लागू करने की जरूरत है; (ii) केवल एक सामान्य निरंतर अप करने के लिए जाना जा सकता है या यहां तक कि एक अभिन्न रूप में और अभी भी एक MCMC विधि के साथ जुड़ा हुआ है; (iii) सिमुलेशन उत्पन्न करने के लिए सामान्य MCMC एल्गोरिदम मौजूद हैं$(x_t)_t$$f$$f$$f$ $$f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$$ $(x_t)_t$जिसे बहुत कम अंशांकन की आवश्यकता होती है; (iv) आयाम एक मुद्दे से कम है क्योंकि बड़े आयाम लक्ष्य छोटे आयामों (जैसे गिब्स नमूनाकरण) की स्थिति में टूट सकते हैं। विपक्ष कि कर रहे हैं (i) सिमुलेशन सहसंबद्ध होते हैं, इसलिए कम आईआईडी सिमुलेशन से जानकारीपूर्ण; (ii) विधि की मान्यता केवल है, इसलिए एक निश्चित लिए पर विचार करने के रूप में एक अनुमान है कि प्राप्ति ; (iii) ( में ) अभिसरण इतना धीमा हो सकता है कि सभी व्यावहारिक उद्देश्यों के लिए एल्गोरिथ्म में अभिसरण नहीं होता है$(x_t)_t$$x_t$$t$$f$$f$$t$; (iv) विधि की सार्वभौमिक मान्यता का अर्थ है कि संभावित कार्यान्वयन की एक अनंत संख्या है, जिसमें समान रूप से प्रभावकारिता की एक समान सीमा होती है।
3. महत्व के नमूने के तरीकों को मूल रूप से अभिन्न सन्निकटन के लिए डिज़ाइन किया गया है, अर्थात् गलत लक्ष्य से उत्पन्न और एक महत्वपूर्ण भार द्वारा क्षतिपूर्ति करता हैपरिणामस्वरूप नमूना इस प्रकार भारित होता है, जो उपरोक्त अजीब के साथ तुलना करता है। हालाँकि, वज़न के आधार पर एक अतिरिक्त रेज़म्पलिंग कदम का उपयोग करके महत्त्वपूर्ण नमूने को महत्त्वपूर्ण नमूने के पुनरुत्पादन में बदल दिया जा सकता है। पेशेवरों महत्व नमूने resampling की महत्वता लक्ष्य से कि (i) पीढ़ी हैं सस्ते और विभिन्न लक्ष्यों के लिए पुनर्नवीनीकरण किया जा सकता है ; (ii) का "सही" विकल्प$g(x)$ $$f(x)/g(x)\,.$$ $g$$f$$g$नियमित या MCMC नमूने के साथ तुलना में भारी सुधार हो सकता है; (iii) महत्व नमूना संख्यात्मक एकीकरण सुधार के लिए अधिक उत्तरदायी है, उदाहरण के लिए अर्ध-मोंटे कार्लो एकीकरण; (iv) यह जनसंख्या मोंटे कार्लो और क्रमिक मोंटे कार्लो जैसे अनुकूली संस्करणों में बदल सकता है। विपक्ष हैं कि (i) लाती अक्षमता (जो आंशिक रूप से व्यवस्थित resampling या QMC में के रूप में शोर को कम करने से ठीक किया जा सकता है) resampling; (ii) का "गलत" विकल्प दक्षता में भारी नुकसान और यहां तक ​​कि अनंत विचरण को जन्म दे सकता है; (iii) महत्व को बड़े आयामों का सामना करने में परेशानी होती है और इसकी दक्षता आयाम के साथ जल्दी से कम हो जाती है; (iv) विधि के समर्थन के महत्वपूर्ण क्षेत्रों में स्थानीय एमसीएमसी विधियों के रूप में मैओपिक हो सकती है ।$g$$f$

अंत में, एक चेतावनी कि इष्टतम सिमुलेशन विधि जैसी कोई चीज नहीं है। यहां तक ​​कि एक विशिष्ट सेटिंग में जैसे कि एक इंटीग्रल जैसे कि अलग-अलग तरीकों को डिजाइन करने और चलाने की लागत। एक वैश्विक तुलना को बहुत नाजुक बनाने के लिए, यदि संभव हो तो, जबकि, एक औपचारिक दृष्टिकोण से, वे निरंतर "अनुमान" वापस लौटने के शून्य विचरण उत्तर को हरा नहीं सकते हैं उदाहरण के लिए, से अनुकरण करना शायद ही कभी सबसे अच्छा विकल्प होता है। इसका मतलब यह नहीं है कि तरीकों की तुलना नहीं की जा सकती है, लेकिन यह कि हमेशा सुधार की संभावना है, जो अतिरिक्त लागतों के साथ आता है।

$$\mathcal{I}=\int_{\mathcal{X}} h(x) f(x)\text{d}x\,,$$ $$\hat{\mathcal{I}}=\int_{\mathcal{X}} h(x) f(x)\text{d}x$$ $f$

Comments

जब आप कहते हैं कि "परिणाम सही मायने में से एक आईआईडी नमूना है " तो क्या इसका मतलब यह होगा कि कोई वार्मअप अवधि आवश्यक नहीं है और आपको बहुत कम पश्च नमूनों की आवश्यकता होगी (क्योंकि कोई ऑटोकॉर्परेशन नहीं है)? $f$

— TrynnaDoStat

मैं बस सोच रहा था कि एक बायेसियन विश्लेषण परिदृश्य में क्या h(x)मतलब h(x)f(x)dxहै। हम पूर्व और डेटा को देखते हुए पीछे हटने की कोशिश कर रहे हैं। हालाँकि, ऐसा लगता है कि इन सभी नमूना तरीकों के साथ हम वास्तव में अनुमानित करने की कोशिश कर रहे हैं f(x)। तो क्या यह कहा जा सकता है कि f(x)पहले से ही जो पोस्टीरियर हम देख रहे हैं, और h(x)यह केवल एक मनमाना कार्य है जिसे हम पोस्टीरियर के साथ भी जोड़ सकते हैं f(x)? या मुझे यह सही से समझ नहीं आया। धन्यवाद।

— xji

यह वास्तव में का एक विशेष मामला है, जब या तो पीछे या पूर्व x संभावना है। और एक अनियंत्रित कार्य है जो कि पश्चगामी अपेक्षा ब्याज का है। $$\int_{\mathcal{X}} h(x) f(x)\text{d}x$$ $f$$h$

— शीआन