गिब्स का नमूना बनाम एमएच-एमसीएमसी


20

मैं अभी गिब्स नमूना और मेट्रोपोलिस हेस्टिंग्स एल्गोरिथ्म पर कुछ पढ़ रहा हूं और कुछ सवालों का जवाब दिया है।

जैसा कि मैं इसे समझता हूं, गिब्स नमूनाकरण के मामले में, यदि हमारे पास एक बड़ी बहुभिन्नरूपी समस्या है, तो हम सशर्त वितरण से नमूना लेते हैं अर्थात नमूना एक चर जबकि अन्य सभी को तय करते हुए एमएच में, हम पूर्ण संयुक्त वितरण से नमूना लेते हैं।

दस्तावेज़ में एक बात कही गई थी कि प्रस्तावित नमूना हमेशा गिब्स नमूनाकरण में स्वीकार किया जाता है अर्थात प्रस्ताव स्वीकृति दर हमेशा 1 होती है। मेरे लिए यह एक बड़ा लाभ की तरह लगता है जैसे बड़ी बहुभिन्नरूपी समस्याओं के लिए ऐसा लगता है कि एमएच एल्गोरिदम के लिए अस्वीकृति दर काफी बड़ी हो गई है । अगर वास्तव में ऐसा है, तो पिछले वितरण के निर्माण के लिए हर समय गिब्स सैम्पलर का उपयोग न करने के पीछे क्या कारण है?


11
एक अच्छी तरह से निर्मित बहुभिन्नरूपी एमएच प्रस्ताव, गिब्स के नमूने को बहुत बेहतर बना सकता है, भले ही सशर्त से नमूना संभव हो (जैसे उच्च आयामी बहुभिन्नरूपी सामान्य, एचएमसी गिब्स को एक बड़े अंतर से हराता है जब चर अत्यधिक सहसंबद्ध होते हैं)। इसका कारण यह है कि गिब्स नमूना संयुक्त रूप से चर विकसित करने की अनुमति नहीं देता है। यह व्यक्तिगत तर्कों को क्रमिक रूप से अनुकूलित करके किसी फ़ंक्शन को अनुकूलित करने के अनुरूप है - आप बेहतर कर सकते हैं यदि आप उत्तराधिकार में प्रत्येक के बजाय संयुक्त रूप से सभी तर्कों का अनुकूलन करते हैं, भले ही बाद में करना आसान हो।
आदमी

मेट्रोपोलिस-हेस्टिंग्स एक सशर्त के प्रस्तावों का उपयोग करके नमूना कर सकते हैं। क्या आप किसी विशेष प्रकार के MH की बात कर रहे हैं ?
Glen_b -Reinstate मोनिका

1
टिप्पणी के लिए धन्यवाद। नहीं, मैं सिर्फ सामान्य रूप से सोच रहा था कि गिब्स सैम्पलर का अधिक बार उपयोग क्यों नहीं किया जाता है। इस तथ्य से चूक गए थे कि सशर्त वितरण फॉर्म को गिब्स के नमूने के लिए प्राथमिकता-प्राथमिकता के रूप में जाना जाता है। मेरी वर्तमान जरूरतों के लिए, ऐसा लगता है कि एक संयोजन सबसे अच्छा काम करता है। इसलिए, दूसरों को स्थिर रखते हुए मापदंडों के सबसेट के लिए MH चरण का उपयोग करें और फिर अन्य उपसेट के लिए गिब्स का उपयोग करें (जहां सशर्त विश्लेषणात्मक मूल्यांकन करना आसान है)। मैं अभी इस पर शुरू कर रहा हूं, इसलिए अभी तक विभिन्न प्रकार के एमएच के बारे में पता नहीं है। उस पर किसी भी सलाह की सराहना की है :-)
लुका

जवाबों:


12

मेट्रोपोलिस-एल्गोरिथ्म का उपयोग करने के पीछे मुख्य तर्क इस तथ्य में निहित है कि आप इसका उपयोग तब भी कर सकते हैं जब परिणामी पश्चगामी अज्ञात हो। गिब्स-सैंपलिंग के लिए आपको पोस्टीरियर-डिस्ट्रिब्यूशन को जानना होगा, जिसे आप वेरिएट्स से बनाते हैं।


1
उत्तर के लिए धन्यवाद! इसलिए, जीएस के साथ, यह विचार है कि सशर्त सरल वितरण हैं जिन्हें संयुक्त वितरण के दौरान काफी आसानी से नमूना लिया जा सकता है, जबकि ज्ञात है, एक जटिल वितरण हो सकता है जो नमूना से मुश्किल है?
लुका

2
हाँ यह सच है। हालांकि कई बार, गिब्स-सैंपलिंग और मेट्रोपोलिस का उपयोग संयोजन में किया जाता है। तो कुछ चरों पर कंडीशनिंग आपको एक बंद-रूप प्रदान कर सकती है, जबकि अन्य के लिए यह संभव नहीं है और आपको "मेट्रोपोलिस-स्टेप" का उपयोग करना होगा। इस मामले में, आपको यह तय करना होगा कि आप किस प्रकार के मेट्रोपोलिस-सैंपलर (स्वतंत्रता, रैंडम-वॉक) के लिए जाते हैं और आप किस तरह के प्रस्ताव घनत्व का उपयोग करते हैं। लेकिन मुझे लगता है कि यह बहुत दूर चला जाता है और आपको पहले अपने लिए इस सामान को पढ़ना चाहिए।
user3777456

3

गिब्स नमूना नमूनाकरण में आयामीता के अभिशाप को तोड़ता है क्योंकि आपने कई निम्न आयामी चरणों में (संभवतः उच्च आयामी) पैरामीटर स्थान को तोड़ा है। मेट्रोपोलिस-हेस्टिंग्स अस्वीकृति नमूने टेचिनी उत्पन्न करने के कुछ आयामी समस्याओं को दूर करता है, लेकिन आप अभी भी पूर्ण बहु-चर वितरण से नमूना ले रहे हैं (और नमूना को स्वीकार / अस्वीकार करने का निर्णय लेते हैं) जो कि एल्गोरिथ्म को आयामीता के अभिशाप से ग्रस्त करता है।

इसे इस सरलीकृत तरीके से सोचें: एक समय में (गिब्स) एक वेरिएबल के लिए सभी वेरिएबल्स (मेट्रोपोलिस हेस्टिंग्स) की तुलना में अपडेट का प्रस्ताव करना ज्यादा आसान है।

इसके साथ ही कहा जा रहा है कि पैरामीटर स्पेस की आयामीता अभी भी गिब्स और मेट्रोपोलिस हेस्टिंग्स दोनों में अभिसरण को प्रभावित करेगी क्योंकि वहाँ अधिक पैरामीटर हैं जो संभवतः परिवर्तित नहीं कर सकते हैं।

गिब्स भी अच्छा है क्योंकि गिब्स लूप का प्रत्येक चरण बंद रूप में हो सकता है। यह अक्सर पदानुक्रमित मॉडल में होता है जहां प्रत्येक पैरामीटर केवल कुछ अन्य पर वातानुकूलित होता है। यह अक्सर अपने मॉडल को बाधित करने के लिए बहुत सरल है ताकि प्रत्येक गिब्स कदम बंद रूप में हो (जब प्रत्येक चरण को संयुग्मित किया जाता है इसे कभी-कभी "अर्ध-संयुग्म" कहा जाता है)। यह अच्छा है क्योंकि आप ज्ञात वितरण से नमूना ले रहे हैं जो अक्सर बहुत तेज़ हो सकता है।


"गिब्स नमूनाकरण नमूनाकरण में आयामीता के अभिशाप को तोड़ता है": वास्तव में, गिब्स नमूना मेट्रोपोलिस हेस्टिंग्स की तरह एक अनुकूल प्रस्ताव सहसंयोजक मैट्रिक्स की तुलना में कुछ अधिक खराब करने के लिए जाता है।
क्लिफ एबी
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.