एमसीएमसी को समझना: विकल्प क्या होगा?

Question

पहली बार बायेसियन आँकड़े सीखना; MCMC समझने की दिशा में एक कोण के रूप में मैंने सोचा: क्या यह कुछ ऐसा है जो मौलिक रूप से दूसरे तरीके से नहीं किया जा सकता है, या यह सिर्फ विकल्पों की तुलना में कहीं अधिक कुशलता से कुछ कर रहा है?

चित्रण के अनुसार, मान लें कि हम अपने मापदंडों की संभाव्यता की गणना करने की कोशिश कर रहे हैं, जो कि $P(x,y,z|D)$ दिए गए मॉडल के विपरीत, गणना करता है $P(D|x,y,z)$। Bayes के साथ सीधे इस गणना करने के लिए 'प्रमेय हम भाजक जरूरत $P(D)$ के रूप में बताया यहाँ । लेकिन क्या हम इस बात की गणना कर सकते हैं कि एकीकरण, निम्नानुसार है:

p_d = 0.
for x in range(xmin,xmax,dx):
    for y in range(ymin,ymax,dy):
        for z in range(zmin,zmax,dz):
            p_d_given_x_y_z = cdf(model(x,y,z),d)
            p_d += p_d_given_x_y_z * dx * dy * dz

क्या वह काम (बहुत अधिक संख्या में चर के साथ बहुत अक्षम रूप से) या कुछ और है जो इस दृष्टिकोण को विफल कर देगा?

Comments

एकीकरण कई मामलों में काम करेगा, लेकिन इसमें बहुत अधिक समय लगेगा (यानी, यह अक्षम है)। MCMC कुशलता से पीछे के अनुमान लगाने का एक तरीका है।

— मार्क व्हाइट

प्रश्न के लिए प्रासंगिक नहीं है, लेकिन मुझे लगता है कि आपके अभिन्न पूर्व x, y, z को याद कर रहे हैं (यह बेयर्स के सूत्र के अंश में दिखाई देता है)

— alberto

Answer 1

आप पोस्टीरियर को ग्रिड सन्निकटन का वर्णन कर रहे हैं, और यह एक मान्य दृष्टिकोण है, हालांकि सबसे लोकप्रिय नहीं है। ऐसे बहुत से मामले हैं जिनमें पीछे के वितरण की गणना विश्लेषणात्मक रूप से की जा सकती है। मोंटे कार्लो मार्कोव चेन, या अन्य अनुमानित तरीके, पश्च वितरण के नमूने प्राप्त करने के तरीके हैं, जो कभी-कभी तब काम करते हैं जब विश्लेषणात्मक समाधान नहीं मिल सकता है।

जो विश्लेषणात्मक समाधान मिल सकते हैं, वे आमतौर पर "संयुग्म" परिवारों के मामले हैं, और आप इसके बारे में अधिक जानकारी प्राप्त कर सकते हैं, उदाहरण के लिए, https://en.wikipedia.org/wiki/Conjugate_prior देखें ।

पहले उदाहरण के रूप में, यदि आपका पूर्ववर्ती pएक समान है [0, 1], जहां pएक सरल द्विपद प्रयोग में सफलता पैरामीटर है, तो पोस्टीरियर बीटा वितरण के बराबर है। एकीकरण, या योग, इस मामले में स्पष्ट रूप से किया जा सकता है।

यदि आपके पास बहुत सारे पैरामीटर विकल्प हैं, या आप अपने उदाहरण के रूप में ग्रिड सन्निकटन का उपयोग करते हैं, तो एक साधारण योग आपको सभी की आवश्यकता हो सकती है। गणना की संख्या जल्दी से विस्फोट हो सकती है, अगर आपके पास कुछ चर हैं और घने ग्रिड का उपयोग करना चाहते हैं।

पीछे से नमूना लेने के लिए कई एल्गोरिदम हैं। Hamiltonian मोंटे कार्लो, विशेष रूप से पागल नमूना, अब लोकप्रिय है और में प्रयोग किया जाता है stanऔर PyMC3महानगरों हेस्टिंग्स क्लासिक है। भिन्नता संबंधी आविष्कार एक सापेक्ष नवागंतुक है, न कि वास्तव में एक नमूना पद्धति है लेकिन एक सन्निकटन प्राप्त करने का एक अलग तरीका है। फिलहाल, विश्लेषणात्मक समाधानों सहित कोई भी तरीका सबसे अच्छा नहीं है, वे सभी विशिष्ट मामलों में अच्छी तरह से काम करते हैं।

Comments

अच्छा जवाब है, लेकिन आपके अंतिम पैराग्राफ का अर्थ है कि वैरिएबल इनफैक्शन एक नमूना विधि है, जो यह नहीं है। आप इसे सही करने पर विचार कर सकते हैं।

— रूबेन वैन बर्गेन

Answer 2

$\theta$

$$π(θ|x)∝\exp\{−||θ−x||^2−||θ+x||^4−||θ−2x||^6\},\qquad x,θ∈ℝ^d,$$

Answer 3

मोंटे कार्लो तरीके ऐसी तकनीकें हैं जो यादृच्छिक संख्याओं का उपयोग करती हैं। लक्ष्य के नमूने मिल रहा है वितरित कि अनुसार कर रहे हैं और यह माना जाता है कि जटिल है। इसका मतलब है कि हम इसका सीधे मूल्यांकन नहीं कर सकते। यदि यह मामला नहीं है, तो आप इसे विश्लेषणात्मक रूप से गणना कर सकते हैं। जैसा कि आपके उदाहरण में यह ।$x$$P(x)$$P(x)$$P(D)$

आप जो प्रस्ताव करते हैं वह मूल रूप से और के स्थान के माध्यम से एक ग्रिड खोज है । यह बहुत ही थकावट भरा हो सकता है यदि और उच्च आयामी और अनम्य हैं यदि वे निरंतर हैं। एक और समस्या यह है कि आपको प्रत्येक चरण में cdf की गणना करनी होगी।$x$$y$$x$$y$

MCMC विधियां उम्मीदवार के नमूने प्रस्ताव करके इसे हल करने की कोशिश और फिर कुछ माप के आधार पर उन्हें स्वीकार या अस्वीकार करती हैं। यह सिद्धांत में तेज हो सकता है फिर सभी संभावित संयोजनों से गुजरना। इसलिए मूल रूप से आपको ऐसे नमूने मिलते हैं जो पूर्व । यहां एक सैद्धांतिक समस्या यह है कि यह केवल खींचे गए नमूनों की सीमा संख्या में ही मामला है, यानी नमूनों के बाद । तो आप नहीं जानते कि मार्कोव चेन को कब रोकना है। पी ( डी ) $c_i$$P(D)$$\infty$