क्या कोई मोंटे कार्लो / MCMC नमूना लागू किया गया है जो बाद के वितरण के अलग-अलग स्थानीय मैक्सीमा से निपट सकता है?

मैं वर्तमान में कई ODEs वाले मॉडल के लिए मापदंडों का अनुमान लगाने के लिए एक बायेसियन दृष्टिकोण का उपयोग कर रहा हूं। जैसा कि मेरे पास अनुमान लगाने के लिए 15 पैरामीटर हैं, मेरा नमूना स्थान 15-आयामी है और मेरे द्वारा पोस्टीरियर डिस्ट्रीब्यूशन के लिए खोजे जाने पर कई स्थानीय मैक्सिमा लगती हैं जो बहुत कम संभावना वाले बड़े क्षेत्रों द्वारा अलग-थलग हैं।

यह मेरी मोंटे कार्लो श्रृंखलाओं की समस्याओं को मिलाने की ओर ले जाता है क्योंकि यह बहुत कम संभावना नहीं है कि एक श्रृंखला एक स्थानीय अधिकतम में से एक "कूदता है" और अन्य मैक्सिमा में से एक को गलती से हिट करता है।

इस क्षेत्र में बहुत सारे शोध प्रतीत होते हैं क्योंकि इस समस्या से निपटने के लिए कागजात खोजना आसान है (नीचे देखें), लेकिन वास्तविक क्रियान्वयन कठिन है। मुझे केवल आणविक गतिकी से संबंधित पैकेज मिले, लेकिन बायेसियन निष्कर्ष नहीं। क्या (एमसी) एमसी सैंपलर्स के कार्यान्वयन हैं जो वहां से अलग-थलग स्थानीय मैक्सिमा से निपटने में सक्षम हैं?

मुझे माटलैब के साथ काम करने के लिए मजबूर किया जाता है क्योंकि मेरे ओडीई मॉडल में लिखा गया है, इसलिए मतलाब के बारे में प्रस्तावों का स्वागत है ;-) हालांकि अगर किसी अन्य भाषा में "हत्यारा ऐप" है, तो शायद मैं अपने PI को स्विच करने के लिए मना सकता हूं ;-)।

मैं वर्तमान में एक विलंबित-अस्वीकृति / अनुकूली मोंटे कार्लो नमूना के साथ काम कर रहा हूँ , जो कि हायारो, Laine et al द्वारा लिखा गया है । , और यह भी एकमात्र नमूना है जो मुझे अब तक मिल सकता है जो मानक मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम की तुलना में अधिक परिष्कृत है

उल्लेखनीय दृष्टिकोण प्रतीत होते हैं:

EDIT 2017-Mar-07 पर अपडेट किया गया, जो मैंने इस बीच सीखा है

विभिन्न शुरुआती बिंदुओं के साथ कई समान श्रृंखलाएं

अंतर-चेन अनुकूलन। श्रृंखला के प्रस्ताव वितरण के सहसंयोजक मैट्रिक्स को अद्यतन करने के लिए कई स्वतंत्र श्रृंखलाओं द्वारा उत्पन्न किए गए नमूनों के अनुभवजन्य सहसंयोजक मैट्रिक्स का उपयोग करें। (1)

विभिन्न संयम के साथ कई चेन

टेम्परिंग: किसी प्रकार का "तापमान" पश्च परिदृश्य को संशोधित करता हुआ प्रतीत होता है, जिससे जंजीरों का मिश्रण अधिक संभव हो जाता है। (मैंने अभी तक इसमें गोता नहीं लगाया है) (1) तड़के का उद्देश्य (उच्च आयामी) संभाव्यता परिदृश्य को पूर्ववर्ती संभाव्यता वितरण द्वारा गठित समतल करना है। यह आमतौर पर की शक्ति के लिए पोस्टीरियर संभावना को ले कर पूरा किया जाता है , जहां पीछे के परिदृश्य को (3, p.298) के लिए समतल किया जाता है। इस का मतलब है, बजाय पीछे संभावना की गणना के एक राज्य के , दिए गए आंकड़ों स्वभाव पीछे संभावना गणना की जाती है $1/T$ $T>1$ $p(\theta\mid D)$ $\theta$ $D$

p (θ ∣ D)^{1 / T} \propto {(p (D ∣ θ) \cdot p (θ))}^{1 / T}

$p(\theta\mid D)^{1/T} \propto \left( p(D\mid\theta)\cdot p(\theta)\right)^{1/T}$

उच्च चुना जाता है, संभावना परिदृश्य में चापलूसी और व्यापक चोटियों बन जाते हैं। इसलिए, उच्च मूल्य एक स्थानीय से दूसरे में अधिकतम करने के लिए नमूना के एक उच्च संभावना की ओर ले जाते हैं। हालाँकि, लिए खोजा गया वितरण नहीं है । इसलिए, उस वितरण के नमूनों की श्रृंखला को बाद में से नमूना सक्षम करने के लिए उपयोग किया जाना चाहिए । $T$ $T$ $p(\theta\mid D)^{1/T}$ $T\neq1$ $p(\theta\mid D)$

मूल, अप्रतिबंधित वितरण से नमूने, उस वितरण के एक टेम्पर्ड संस्करण से दिए गए नमूने कई तरीकों से प्राप्त किए जा सकते हैं:

महानगर युग्मित MCMC समवर्ती रूप से कई श्रृंखलाएँ चलाते हैं, प्रत्येक में लिए एक अलग लेकिन निरंतर मान होता है । दो चेन के राज्यों को संभावित रूप से स्विच करें। केवल डाउनस्ट्रीम अनुमानों के लिए साथ श्रृंखला से नमूने का उपयोग करें ; अन्य जंजीरें सिर्फ यह सुनिश्चित करती हैं कि सभी चोटियों का नमूना लिया जाए। संदर्भ। (4) एक समानांतर एल्गोरिथ्म है और एक सम्मेलन लेख और विचार के लिए एक पाठ्यपुस्तक का हवाला देता है (5,6) $T$ $T=1$
लघु-विश्व MCMC। सैम्पलर दो प्रस्तावों के बीच स्विच करता है। अक्सर छोटे प्रसरण के साथ एक प्रस्ताव वितरण का उपयोग किया जाता है, शायद ही कभी एक बड़े विचरण के साथ एक प्रस्ताव का उपयोग किया जाता है। इन दो प्रस्तावों के बीच चुनाव स्टोचस्टिक है। बड़े विचरण वाले प्रस्ताव को एक अन्य श्रृंखला से भी तैयार किया जा सकता है जो केवल बहुत बड़ी छलांग लगाता है, किसी मोटे अंदाज में नमूना स्थान का यथासंभव नमूना लेना। (2,7)

हैमिल्टनियन मोंटे कार्लो (HMC)

मुझे इसके बारे में ज्यादा जानकारी नहीं है, लेकिन JAGS का नो-यू-टर्न सैंपलर (एनयूटीएस) इसका इस्तेमाल करने लगता है। रेफ देखें। (8)। एलेक्स Rogozhnikov ने विषय पर एक दृश्य ट्यूटोरियल बनाया है ।

संदर्भ:

(१) क्रायु एट अल।, २०० ९: थि नेबर से सीखें: समानांतर-चेन और क्षेत्रीय अनुकूल एमसीएमसी। जे अम स्टैट असोक 104: 488, पीपी। 1454-1466। http://www.jstor.org/stable/40592353

(२) गुआम एट अल।, २०१२: लघु विश्व एमसीएमसी तड़के के साथ: एर्गोसिटी और स्पेक्ट्रल गैप। https://arxiv.org/abs/1211.4675 ( केवल arXiv पर )

(३): ब्रूक्स एट अल। (2011)। मार्कोव चेन मोंटे कार्लो की हैंडबुक। CRC प्रेस।

(४): अल्टेकर एट अल। (2004): समानांतर मेट्रोपोलिस ने मार्कोस चेन मोंटे कार्लो को बायेसियन फाइटोलैनेटिक इंजेक्शन के लिए युग्मित किया। जैव सूचना विज्ञान 20 (3) 2004, पीपी। 407-415, http://dx.doi.org/10.1093/bioinformatics/btg427

(५): गेयेर सीजे (१ ९९ १) मार्कोव चेन मोंटे कार्लो अधिकतम संभावना। में: केरीमेडास (सं।), कम्प्यूटिंग विज्ञान और सांख्यिकी: इंटरफ़ेस पर 23 वीं संगोष्ठी की कार्यवाही । इंटरफ़ेस फाउंडेशन, फेयरफैक्स स्टेशन, पीपी। 156-163

(6): गिलक्स डब्ल्यूआर एंड रॉबर्ट्स जीओ (1996)। MCMC में सुधार के लिए रणनीतियाँ। इन: गिलक्स डब्ल्यूआर, रिचर्डसन एस और स्पीगलगल्टर (एड) मार्कोव चेन मोंटे कार्लो प्रैक्टिस में । चैपमैन एंड हॉल, पी। 89-114।

((): गुआन वाई, एट अल। छोटी दुनिया में मार्कोव चेन मोंटे कार्लो। सांख्यिकी और कम्प्यूटिंग (2006) 16 (2), पीपी 193-202। http://dx.doi.org/10.1007/s11222-006-6966-6

((): हॉफमैन एम और गेलमैन ए (२०१४): नो-यू-टर्न सैंपलर: हैमिल्टन के मोंटे कार्लो में अनुकूल रूप से पथ की लंबाई निर्धारित करना। मशीन लर्निंग रिसर्च जर्नल , 15, पीपी 1351-1381। https://arxiv.org/abs/1111.4246

— akraf
स्रोत

उपरोक्त दोनों में से कोई भी रणनीति विशेष रूप से एकाधिक ऑप्टिमा के लिए उपयुक्त नहीं है।

बेहतर विकल्प डिफरेंशियल इवोल्यूशन MCMC और व्युत्पन्न MCMCs जैसे DREAM हैं। ये एल्गोरिदम कई एमसीएमसी श्रृंखलाओं के साथ काम करते हैं जो प्रस्तावों को उत्पन्न करने के लिए मिश्रित होते हैं। यदि आपके पास प्रत्येक ऑप्टिमा में कम से कम एक श्रृंखला है, तो वे ऑप्टिमा के बीच कुशलता से कूदने में सक्षम होंगे। R में एक कार्यान्वयन यहाँ उपलब्ध है https://cran.r-project.org/web/packages/BayesianTools@indow.html

— फ्लोरियन हार्टिग
स्रोत