असतत मापदंडों के लिए MCMC एल्गोरिदम / तकनीकों का उपयोग किया जाता है?

मैं विशेष रूप से ढाल-आधारित विधियों के लिए निरंतर मापदंडों को फिट करने के बारे में उचित मात्रा में जानता हूं, लेकिन फिटिंग असतत मापदंडों के बारे में ज्यादा नहीं।

सामान्यतः असतत मापदंडों की फिटिंग के लिए MCMC एल्गोरिदम / तकनीकों का उपयोग किया जाता है? क्या एल्गोरिदम हैं जो काफी सामान्य और काफी शक्तिशाली दोनों हैं? क्या एल्गोरिदम हैं जो आयामीता के अभिशाप से अच्छी तरह से निपटते हैं? उदाहरण के लिए, मैं कहूंगा कि हैमिल्टनियन MCMC सामान्य, शक्तिशाली और अच्छी तरह से तराजू है।

एक अनियंत्रित असतत वितरण से नमूना लेना निरंतर वितरण से नमूना लेने से अधिक कठिन लगता है, लेकिन मैं उत्सुक हूं कि कला की स्थिति क्या है।

संपादित करें : JMS ने मुझे विस्तृत करने के लिए कहा।

मेरे पास विशिष्ट एप्लिकेशन नहीं हैं, लेकिन यहां कुछ प्रकार के मॉडल हैं जिनकी मैं कल्पना कर रहा हूं:

कई प्रकार के निरंतर प्रतिगमन मॉडल के बीच मॉडल का चयन। आपके पास एक असतत एकल 'मॉडल' पैरामीटर है
एक सतत मॉडल जहां प्रत्येक अवलोकन में एक 'बाहरी' होने की संभावना है और बहुत अधिक फैलाव वितरण से तैयार किया गया है। मुझे लगता है कि यह एक मिश्रण मॉडल है।

मैं निरंतर और असतत दोनों मापदंडों को शामिल करने के लिए कई मॉडलों की उम्मीद करूंगा।

bayesian mcmc

— जॉन साल्वेटियर
स्रोत

तो इसका सीधा सा जवाब है हाँ: मेट्रोपोलिस-हेस्टिंग्स और इसका विशेष मामला गिब्स नमूनाकरण :) सामान्य और शक्तिशाली; यह तराजू हाथ में समस्या पर निर्भर करता है या नहीं।

मुझे यकीन नहीं है कि आपको क्यों लगता है कि एक मनमाना असतत वितरण का नमूना लेना एक मनमाने निरंतर वितरण की तुलना में अधिक कठिन है। यदि आप असतत वितरण की गणना कर सकते हैं और नमूना स्थान विशाल नहीं है, तो यह बहुत, बहुत आसान है (जब तक कि निरंतर वितरण मानक नहीं है, शायद)। संभावना की गणना प्रत्येक श्रेणी के लिए है, तो सामान्य संभावनाओं को पाने के लिए और उपयोग उलटा नमूने को बदलने (पर एक मनमाना आदेश थोप ) । $f(k)$ $P(\tilde k = k) = f(k)/\sum f(k)$ $k$

क्या आपके मन में कोई विशेष मॉडल आया है? फिटिंग मिश्रण मॉडल के लिए एमसीएमसी दृष्टिकोण के सभी प्रकार हैं, उदाहरण के लिए, जहां अव्यक्त घटक असाइनमेंट असतत पैरामीटर हैं। ये बहुत सरल (गिब्स) से लेकर काफी जटिल हैं।

पैरामीटर स्पेस कितना बड़ा है? क्या यह संभावित रूप से बहुत बड़ा है (उदाहरण के मिश्रण के मामले में, यह मिश्रण घटकों की संख्या से N है)? आपको गिब्स सैंपलर से ज्यादा किसी चीज की आवश्यकता नहीं हो सकती है, क्योंकि संयुग्मनता अब एक मुद्दा नहीं है (आप सीधे सामान्यीकरण प्राप्त कर सकते हैं ताकि आप पूरी स्थिति की गणना कर सकें)। वास्तव में, ग्रिड्डी गिब्स इन मामलों के लिए लोकप्रिय हुआ करते थे, जहां कम्प्यूटिंग को कम करने के लिए एक सतत पूर्व का विवेक किया जाता है।

मुझे नहीं लगता कि सभी समस्याओं के लिए एक विशेष रूप से "सर्वश्रेष्ठ" है, निरंतर मामले के लिए किसी भी अतिरिक्त असतत पैरामीटर स्थान होने के लिए। लेकिन अगर आप हमें उन मॉडलों के बारे में अधिक बताते हैं जिनमें आप रुचि रखते हैं तो हम कुछ सिफारिशें कर सकते हैं।

संपादित करें: ठीक है, मैं पुन: आपके उदाहरणों में थोड़ी और जानकारी दे सकता हूं।

आपके पहले उदाहरण में बहुत लंबा इतिहास है, जैसा कि आप कल्पना कर सकते हैं। हाल ही में एक ईश समीक्षा [1] में है, [2] भी देखें। मैं यहाँ कुछ विवरण देने की कोशिश करूँगा: एक प्रासंगिक उदाहरण स्टोकैस्टिक खोज चर चयन है। प्रारंभिक सूत्रीकरण जैसे निरंतर निरंतर पुजारियों का उपयोग करना था । यह वास्तव में की तुलना में खराब काम करता है जहां एक बिंदु द्रव्यमान है 0. नोट करें कि दोनों आपके मूल फॉर्मूलेशन में फिट हैं; एक MCMC दृष्टिकोण आमतौर पर एक (असतत) मॉडल संकेतक ( कहो) के साथ वृद्धि द्वारा आगे बढ़ेगा । यह एक मॉडल सूचकांक के बराबर है; यदि आपके पास है $p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$ $p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$ $\delta_0$ $\beta$ $Z$ $Z_1\dots, Z_p$ तब स्पष्ट रूप से आप में संख्याओं के संभव विन्यासों को सकते हैं । $2^p$ $1:2^p$

तो आप MCMC को कैसे सुधार सकते हैं? इनमें से बहुत से मॉडल में आप को रचना से नमूना कर सकते हैं , अर्थात उस । इस तरह से ब्लॉक अपडेट्स से ज़बरदस्त मिश्रण में सुधार हो सकता है क्योंकि और बीच संबंध अब नमूने के लिए अप्रासंगिक है $p(Z, \beta|y)$ $p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$ $Z$ $\beta$

SSVS पूरे मॉडल स्पेस को एक बड़े मॉडल में एम्बेड करता है। अक्सर यह लागू करना आसान होता है, लेकिन खराब काम करता है। प्रतिवर्ती कूद एमसीएमसी एक अलग तरह का दृष्टिकोण है जो पैरामीटर स्थान के आयाम को स्पष्ट रूप से बदलता है; एक समीक्षा और कुछ व्यावहारिक नोटों के लिए [3] देखें। आप साहित्य में विभिन्न मॉडलों में कार्यान्वयन पर अधिक विस्तृत नोट्स पा सकते हैं, मुझे यकीन है।

अक्सर पूर्ण MCMC दृष्टिकोण अलग होता है; कहते हैं कि आपके पास चर के साथ एक रैखिक प्रतिगमन है और आप SSVS जैसे दृष्टिकोण का उपयोग कर रहे हैं। आप अपने प्रतिरूपक के अभिसरण की आशा नहीं कर सकते; उन सभी मॉडल कॉन्फ़िगरेशन पर जाने के लिए पर्याप्त समय या कंप्यूटिंग शक्ति नहीं है, और यदि आपके कुछ चर भी मामूली रूप से सहसंबद्ध हैं, तो आप विशेष रूप से ठीक हो सकते हैं। आपको विशेष रूप से इस तरह से चर समावेश संभावनाओं जैसी चीजों का अनुमान लगाने की कोशिश कर रहे लोगों पर संदेह होना चाहिए। ऐसे मामलों के लिए MCMC के साथ संयोजन में उपयोग किए जाने वाले विभिन्न स्टोकेस्टिक खोज एल्गोरिदम प्रस्तावित किए गए हैं। एक उदाहरण BAS [4] है, दूसरा [5] में है (सिल्विया रिचर्डसन के पास अन्य प्रासंगिक कार्य भी हैं); मुझे पता है कि दूसरों के अधिकांश एक विशेष मॉडल की ओर तैयार हैं। $p=1000$

एक अलग दृष्टिकोण जो लोकप्रियता हासिल कर रहा है वह है बिल्कुल निरंतर संकोचन करने वाले पुजारियों का उपयोग करना जो परिणामों की नकल करते हैं। आमतौर पर इन्हें मानदंडों के मिश्रण के रूप में तैयार किया जाता है। बायेसियन लैस्सो एक उदाहरण है, जो सामान्य-गामा पादरियों का एक विशेष मामला है और सामान्य-घातीय-गामा पादरियों का सीमित मामला है। अन्य विकल्पों में घोड़े की नाल और उनके विचरण पर उल्टे बीटा पुजारियों के साथ सामान्य वितरण के सामान्य वर्ग शामिल हैं। इन पर अधिक जानकारी के लिए, मैं [6] से शुरू करने और संदर्भों के माध्यम से वापस चलने का सुझाव दूंगा (बहुत से मेरे लिए यहां दोहराने के लिए :))

अगर मुझे कोई मौका मिलता है तो मैं बाद में आने वाले मॉडल के बारे में और अधिक जानकारी जोड़ूंगा; क्लासिक संदर्भ [7] है। वे आत्मा में संकोचन करने वाले पुजारियों के समान हैं। आमतौर पर वे गिब्स नमूने के साथ बहुत आसान कर रहे हैं।

शायद उतनी व्यावहारिक नहीं, जितनी आप उम्मीद कर रहे थे; विशेष रूप से मॉडल का चयन एक कठिन समस्या है और मॉडल जितना अधिक खराब होता है उतना ही विस्तृत होता है। जहाँ भी संभव हो अपडेट को ब्लॉक करें सामान्य सलाह का एकमात्र टुकड़ा मेरे पास है। वितरण के मिश्रण से नमूना लेने से आपको अक्सर समस्या होगी कि सदस्यता संकेतक और घटक पैरामीटर अत्यधिक सहसंबद्ध हैं। मैंने लेबल स्विचिंग मुद्दों (या लेबल स्विचिंग की कमी) पर भी नहीं छुआ है; वहाँ साहित्य का एक सा है, लेकिन यह मेरे पहिये से थोड़ा बाहर है।

वैसे भी, मुझे लगता है कि यहां कुछ संदर्भों के साथ शुरू करना उपयोगी है, विभिन्न तरीकों के लिए एक भावना प्राप्त करने के लिए कि अन्य समान समस्याएं आ रही हैं।

[१] मर्लीस क्लाइड और ईआई जॉर्ज। मॉडल अनिश्चितता सांख्यिकीय विज्ञान 19 (2004): 81--94। http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[३] ग्रीन और हस्ती रिवर्सेबल जम्प MCMC (२०० ९) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[४] http://www.stat.duke.edu/~clyde/BAS/

[५] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[६] http://www.uv.es/bernardo/Polson.pdf

[[] बाइसियन लीनियर रिग्रेशन (१ ९ Out४) जेआरएसएस-बी में माइक वेस्ट आउटअलियर मॉडल और पूर्व वितरण

— JMS
स्रोत

मैं जवाब देने के लिए लंबा समय लेने के लिए माफी मांगता हूं। मैंने कुछ उदाहरण मॉडल प्रकारों को रखा। यदि आप अधिक स्पष्टीकरण चाहते हैं तो मुझे बताएं। मैं असतत वितरण के बारे में सोच रहा था क्योंकि इससे नमूना लेना मुश्किल था क्योंकि ऐसा लगता है कि वे बहु-व्यवहार व्यवहार की तरह अधिक प्रवण होंगे। क्या आपके पास असतत और निरंतर चर का मिश्रण होने पर स्पष्ट सामान्यीकरण लागू होता है?

— जॉन साल्वेटियर