पाठ्यपुस्तक MCMC एल्गोरिदम पर कुछ जाने-माने सुधार क्या हैं जो लोग बेइज़ियन अनुमान के लिए उपयोग करते हैं?


21

जब मैं कुछ समस्या के लिए एक मोंटे कार्लो सिमुलेशन को कोड कर रहा हूं, और मॉडल काफी सरल है, तो मैं एक बहुत ही मूल पाठ्यपुस्तक गिब्स नमूने का उपयोग करता हूं। जब गिब्स नमूने का उपयोग करना संभव नहीं है, तो मैंने पाठ्यपुस्तक मेट्रोपोलिस-हेस्टिंग्स को कोड दिया है जो मैंने वर्षों पहले सीखा है। एकमात्र विचार जो मैं इसे देता हूं वह कूद वितरण या इसके मापदंडों को चुनना है।

मुझे पता है कि सैकड़ों और सैकड़ों विशिष्ट तरीके हैं जो उन पाठ्यपुस्तक विकल्पों में सुधार करते हैं, लेकिन मैं आमतौर पर उनका उपयोग करने / सीखने के बारे में कभी नहीं सोचता। आमतौर पर ऐसा लगता है कि थोड़ा बहुत सुधार करने के लिए यह बहुत अधिक प्रयास है जो पहले से ही बहुत अच्छी तरह से काम कर रहा है।

लेकिन हाल ही में मैं सोच रहा था कि शायद नए सामान्य तरीके नहीं हैं जो कि मैं जो कर रहा हूं उसमें सुधार कर सकता हूं। उन तरीकों को खोजे हुए कई दशक हो चुके हैं। शायद मैं वास्तव में पुराना हो गया हूँ !

क्या मेट्रोपोलिस-हेस्टिंग्स के लिए कोई प्रसिद्ध विकल्प हैं:

  • लागू करने के लिए काफी आसान,
  • MH के रूप में सार्वभौमिक रूप से प्रशंसनीय है,
  • और हमेशा एमएच के परिणामों में कुछ अर्थों (कम्प्यूटेशनल प्रदर्शन, सटीकता, आदि ...) में सुधार होता है?

मैं बहुत विशिष्ट मॉडलों के लिए कुछ बहुत ही विशिष्ट सुधारों के बारे में जानता हूं, लेकिन क्या कुछ सामान्य सामान हैं जिनका उपयोग हर कोई करता है जो मुझे नहीं पता?


1
क्या आपका मतलब मार्कोव चेन मोंटे कार्लो से है? मोंटे कार्लो सिमुलेशन के लिए पाठ्यपुस्तक में सुधार होता है कि मैं एंटीटेटिक और / या स्तरीकृत नमूने, साथ ही अर्ध-मोंटे कार्लो को शामिल करने के बारे में सोच सकता हूं। हालांकि गिब्स और मेट्रोपोलिस-हेस्टिंग्स का आपका उल्लेख बेयसियन कंप्यूटिंग का संकेत है।
StasK

@StasK, हाँ, मुझे मुख्य रूप से बायेसियन मॉडल और सांख्यिकीय भौतिकी मॉडल में दिलचस्पी है (जो कि गिब्स-जैसे वितरण पी (एक्स) = 1 / जेड एक्सप (-ई) (एक्स) / टी) पर बायेसियन इन्वेंशन है। यह उल्लेख करने में विफल रहने के लिए क्षमा करें।
राफेल एस। कैल्सवेरीनी

3
(+1) ठीक है, एक अच्छा सामान्य प्रयोजन अनुकूली एल्गोरिथ्म "हाल ही में" प्रकाशित किया है और पहले से ही आर, अजगर और Matlab में लागू है twalk । यह अच्छी तरह से काम करता है लेकिन किसी अन्य विधि का उपयोग करके दोबारा जांचना हमेशा एक अच्छा अभ्यास है। BTW, MH आर पैकेज mcmc में लागू किया गया है । बेशक, कई अन्य हैं, लेकिन उनमें से अधिकांश को सामान्यता के इस स्तर पर लागू नहीं किया गया है और / या उन्हें लागू करना मुश्किल है। एक और लोकप्रिय क्षेत्र आजकल अनुक्रमिक मोंटे कार्लो है। आशा है कि ये आपकी मदद करेगा।

2
आप यह पहले से ही जान सकते हैं, लेकिन स्लाइस का नमूना लागू करना बहुत आसान है और एक विशिष्ट "रैंडम-वॉक" मेट्रोपोलिस एल्गोरिथ्म के कुछ नुकसान से बचा जाता है। पारंपरिक मेट्रोपोलिस एल्गोरिदम के साथ एक समस्या यादृच्छिक-प्रकार का व्यवहार है; अच्छे राज्यों की ओर उद्देश्यपूर्ण ढंग से आगे बढ़ने के बजाय, वे चारों ओर ठोकर खाते हैं, धीरे-धीरे अच्छे क्षेत्रों की ओर बढ़ते हैं। यह उन तरीकों के पीछे की प्रेरणा है जो कि ढाल में जानकारी का उपयोग करते हैं, जैसे कि एचएमसी, लेकिन स्लाइस नमूनाकरण भी इस शिविर में आता है और अधिक स्वचालित है।
लड़का

1
मुझे पता है कि एबीसी के बारे में लगभग कुछ भी नहीं है, लेकिन मुझे खुशी होगी अगर कोई एबीसी और एमसीएमसी के तरीकों के बीच के अंतर के बारे में थोड़ा समझा सके ...
मानोएल गेल्डिनो

जवाबों:


20

मैं इनमें से किसी में भी विशेषज्ञ नहीं हूं, लेकिन मुझे लगा कि मैं उन्हें वैसे ही बाहर रखूंगा, जैसा कि समुदाय ने सोचा था। सुधारों का स्वागत है।

एक तेजी से लोकप्रिय तरीका, जो लागू करने के लिए बहुत सीधा नहीं है, को हैमिल्टनियन मोंटे कार्लो (या कभी-कभी हाइब्रिड मोंटे कार्लो) कहा जाता है। यह संभावित अंतरिक्ष और गतिज ऊर्जा के साथ एक भौतिक मॉडल का उपयोग करता है, जो पैरामीटर स्पेस के चारों ओर घूमती हुई एक गेंद को अनुकरण करता है, जैसा कि इस पेपर में रेडफोर्ड भोजन द्वारा वर्णित है । भौतिक मॉडल उचित मात्रा में कम्प्यूटेशनल संसाधनों को लेता है, इसलिए आप बहुत कम अपडेट प्राप्त करते हैं, लेकिन अपडेट कम सहसंबद्ध होते हैं। एचएमसी नए एसटीएएन सॉफ्टवेयर के पीछे का इंजन है जो कि बीयूजीएस या जेएजीएस के लिए अधिक कुशल और लचीले विकल्प के रूप में विकसित किया जा रहा है।

मार्कोव श्रृंखला को "गर्म करने" में शामिल करने के तरीकों का एक पूरा समूह भी है, जिसे आप मॉडल पर थर्मल शोर शुरू करने और कम-संभावना वाले राज्यों के नमूने लेने की संभावना बढ़ाने के बारे में सोच सकते हैं। पहली नज़र में, यह एक बुरे विचार की तरह लगता है, क्योंकि आप चाहते हैं कि मॉडल बाद की संभावना के अनुपात में नमूना ले। लेकिन आप वास्तव में केवल "गर्म" राज्यों का उपयोग करके श्रृंखला मिश्रण को बेहतर बनाने में मदद करते हैं। वास्तविक नमूने केवल तब एकत्र किए जाते हैं जब श्रृंखला अपने "सामान्य" तापमान पर होती है। यदि आप इसे सही तरीके से करते हैं, तो आप उन मोड्स को खोजने के लिए गर्म चेन का उपयोग कर सकते हैं जो मोड-टू-मोड से संक्रमण को अवरुद्ध करने वाली कम संभावना की बड़ी घाटियों के कारण एक साधारण श्रृंखला प्राप्त नहीं कर पाएंगे। इन विधियों के कुछ उदाहरणों में महानगर-युग्मित MCMC शामिल हैं ,, समानांतर तड़के , और annealed महत्व नमूना है

अंत में, आप अनुक्रमिक मोंटे कार्लो का उपयोग कर सकते हैं या कण फ़िल्टरिंग का जब अस्वीकृति दर इतनी अधिक होगी कि ये अन्य विधियां सभी विफल हो जाएंगी। मैं तरीकों के इस परिवार के बारे में कम से कम जानता हूं, इसलिए मेरा वर्णन यहां गलत हो सकता है , लेकिन मेरी समझ यह है कि यह इस तरह से काम करता है। आप अपना पसंदीदा नमूना चलाकर शुरू करते हैं, भले ही अस्वीकृति की संभावना अनिवार्य रूप से एक हो। अपने सभी नमूनों को अस्वीकार करने के बजाय, आप कम से कम आपत्तिजनक लोगों को उठाते हैं, और वहां से नए नमूने लाते हैं, प्रक्रिया को दोहराते हुए जब तक आपको कुछ नमूने नहीं मिलते जिन्हें आप वास्तव में स्वीकार कर सकते हैं। तब आप वापस जाते हैं और इस तथ्य के लिए सही होते हैं कि आपके नमूने गैर-आयामी थे, क्योंकि आपने अपने नमूनों को यादृच्छिक स्थानों से आरंभ नहीं किया था।

उम्मीद है की यह मदद करेगा।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.