गिब्स नमूने में पूर्ण सशर्त कहाँ से आते हैं?

Question

मेट्रोपोलिस-हेस्टिंग्स और गिब्स नमूना जैसे एमसीएमसी एल्गोरिदम संयुक्त पश्च वितरण से नमूने लेने के तरीके हैं।

मुझे लगता है कि मैं समझता हूं और महानगर-जल्दबाजी को बहुत आसानी से लागू कर सकता है - आप बस शुरुआती बिंदुओं को किसी भी तरह से चुनते हैं, और 'पैरामीटर को अंतरिक्ष में चलते हैं', अनियमित घनत्व और प्रस्ताव घनत्व द्वारा निर्देशित। गिब्स नमूना बहुत ही समान है लेकिन अधिक कुशल लगता है क्योंकि यह एक समय में केवल एक पैरामीटर को अपडेट करता है, जबकि अन्य को स्थिर रखते हुए, प्रभावी रूप से एक ऑर्थोगोनल फैशन में अंतरिक्ष घूम रहा है।

ऐसा करने के लिए, आपको विश्लेषणात्मक से प्रत्येक पैरामीटर की पूर्ण शर्त की आवश्यकता है। लेकिन ये पूर्ण सशर्त कहाँ से आते हैं? भाजक प्राप्त करने के लिए आपकोx1पर संयुक्त को हाशिए पर रखने की आवश्यकता है। ऐसा लगता है कि कई मापदंडों के अनुसार, यदि कोई वितरण बहुत अच्छा नहीं है, तो विश्लेषणात्मक रूप से करने के लिए पूरे बहुत काम की तरह लगता है, और यह संभव नहीं हो सकता है। मुझे एहसास है कि यदि आप पूरे मॉडल में संयुग्मता का उपयोग करते हैं, तो पूर्ण स्थिति आसान हो सकती है, लेकिन सामान्य परिस्थितियों के लिए एक बेहतर तरीका है।

$$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$$ $x_1$

गिब्स के नमूने के सभी उदाहरण मैंने ऑनलाइन उपयोग किए हैं खिलौना उदाहरण (जैसे एक बहुभिन्नरूपी सामान्य से नमूना, जहां सशर्त केवल मानदंड हैं), और इस मुद्दे को चकमा देने के लिए लगता है।

* या क्या आपको विश्लेषणात्मक रूप में पूर्ण सशर्त की आवश्यकता है? WinBUGS जैसे कार्यक्रम कैसे करते हैं?

Comments

गिब्स नमूना आमतौर पर मेट्रोपोलिस-हेस्टिंग्स की तुलना में कम कुशल होता है क्योंकि यह एक समय में एक आयाम पर जाता है ...

— शीआन

गिब्स नमूने प्रत्येक व्यक्ति के कदम पर और अधिक कुशल है, लेकिन एक आवश्यकता हो सकती है भयंकर कवरेज़ की बहुत अधिक चरणों - और कम एक अच्छा समग्र परिणाम के लिए कुशल अंत।

— लुत्ज प्रेचल

Answer 1

हां, आप सही हैं, सशर्त वितरण को विश्लेषणात्मक रूप से ढूंढने की आवश्यकता है, लेकिन मुझे लगता है कि बहुत सारे उदाहरण हैं जहां पूर्ण सशर्त वितरण को ढूंढना आसान है, और संयुक्त वितरण की तुलना में कहीं अधिक सरल रूप है।

$P(X_1,\dots,X_n)$$X_i$$X_i$$X_{i-1}$$X_{i+1}$$Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

Comments

$Pr(X_i|X_{i-1},X_{i+1})$

उन्हें विश्लेषणात्मक रूप से खोजने की आवश्यकता नहीं है। सभी पूर्ण सशर्त संयुक्त वितरण के लिए आनुपातिक हैं, उदाहरण के लिए। और यह सब महानगर-हेस्टिंग्स के लिए आवश्यक है।

— ट्रिस्टन

@ ट्रिस्टन का कोर्स। मैं, हालांकि, गिब्स के नमूने के बारे में बात कर रहा हूं।

— गाबागोह

गिब्स सैम्पलिंग के लिए उन्हें विश्लेषणात्मक रूप से खोजने की आवश्यकता नहीं है। आपको बस सशर्त से किसी तरह, नमूना लेने की आवश्यकता है; क्या आप यह लिख सकते हैं कि एक सुंदर विश्लेषणात्मक विवरण में यह कैसे करना प्रासंगिक नहीं है।

— अतिथि

वास्तव में, एक विश्लेषणात्मक पूर्ण सशर्त की कोई आवश्यकता नहीं है: गिब्स के नमूने को लागू करने के लिए आवश्यक सभी पूर्ण शर्तों से अनुकरण करने की क्षमता है ।

— शीआन

Answer 2

मुझे लगता है कि आपने मेट्रोपोलिस-हेस्टिंग्स जैसे एल्गोरिदम का मुख्य लाभ याद किया है। गिब्स के नमूने के लिए, आपको पूर्ण शर्तों से नमूना लेना होगा। आप सही हैं, ऐसा करना बहुत ही आसान है। मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम का मुख्य लाभ यह है कि आप अभी भी एक समय में एक पैरामीटर का नमूना ले सकते हैं, लेकिन आपको केवल आनुपातिकता तक की पूर्ण शर्तों को जानना होगा। इसका कारण यह है कि भाजक स्वीकृति मानदंड समारोह में रद्द कर देते हैं

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

विनबग्स / जैग्स जैसे कार्यक्रम आम तौर पर मेट्रोपोलिस-हेस्टिंग्स या स्लाइस नमूनाकरण कदम उठाते हैं जो केवल आनुपातिकता तक सशर्त की आवश्यकता होती है। ये डीएजी से आसानी से उपलब्ध हैं। सामंजस्य को देखते हुए, वे कभी-कभी सीधे गिब्स कदम या फैंसी ब्लॉक स्टॉप भी लेते हैं।

Comments

धन्यवाद! मुझे लगता है कि महानगर-हास्टिंग्स के लिए आदर्श स्थिरांक की आवश्यकता न होने के बारे में यह बात ठीक है कि मुझे इन सभी की समझ बनाने के लिए आवश्यक जानकारी है। मुझे लगता है, क्योंकि WinBUGS में जीएस गिब्स के नमूने के लिए खड़ा है, मैं इस धारणा के तहत था कि गिब्स ने एमएच को सुपरसीड किया और सॉफ्टवेयर विशेष रूप से गिब्स का उपयोग कर रहा था।

— cespinoza

गिब्स सैंपलिंग शब्द का अर्थ अक्सर यह माना जाता है कि आप एक समय में एक पैरामीटर का नमूना लेते हैं, भले ही आप पूर्ण सशर्त से सीधे नमूने के मूल विचार का उपयोग न करें। अनुक्रम में सभी सॉफ्टवेयर व्यक्तिगत मापदंडों या मापदंडों के ब्लॉक का नमूना लेते हैं, लेकिन वास्तविक चरण प्रकार सबसे अच्छा काम करता है के आधार पर बहुत भिन्न होता है।

— ट्रिस्टन

लगभग जब भी आप गिब्स को लागू कर सकते हैं, तो आप मेट्रोपोलिस-हेस्टिंग्स विकल्पों को भी लागू कर सकते हैं। उच्च दक्षता दोनों दृष्टिकोणों को मिलाने से आती है।

— शीआन

यह स्वीकार किया जाना चाहिए।

— NoBackingDown