MCMC कब उपयोगी है?

मुझे यह समझने में परेशानी हो रही है कि एमसीएमसी दृष्टिकोण वास्तव में किस स्थिति में उपयोगी है। मैं क्रुश्के की पुस्तक "डूइंग बायेसियन डेटा एनालिसिस: ए ट्यूटोरियल विद आर एंड बीयूजीएस" से एक खिलौना उदाहरण के माध्यम से जा रहा हूं।

अब तक जो मुझे समझ में आया है कि हमें एक लक्ष्य वितरण की आवश्यकता है जो कि का नमूना है, जिसमें का एक नमूना है । हालाँकि, यह मुझे लगता है कि एक बार हम हम केवल पीछे हटने के लिए वितरण को सामान्य करने की जरूरत है, और सामान्यीकरण कारक आसानी से संख्यात्मक रूप से पाया जा सकता है। तो क्या ऐसे मामले हैं जब यह संभव नहीं है? $p(D|\theta)p(\theta)$ $P(\theta|D)$ $p(D|\theta)p(\theta)$

mcmc

— Vaaal
स्रोत

मान लीजिए कि एक अदिश राशि नहीं है, बल्कि एक वेक्टर

जिसमें 10000 आयाम हैं।

θ

$\theta$

θ

$\boldsymbol\theta$

— जनवरी गल्कोव्स्की

मेरा जवाब थोड़ा तल्ख था। स्थिरांक प्राप्त करने के लिए,

गणना करने की आवश्यकता है

\int_{- \infty}^{\infty} p (D | θ) p (θ)

$\int_{-\infty}^{\infty} p(D|\theta)p(\theta)$ । स्केलर मामले में भी, मान लीजिए कि

p (D | θ)

$p(D|\theta)$ वास्तव में बहुत अस्थिर है, इसलिए एकीकरण करना मुश्किल है, यहां तक कि संख्यात्मक रूप से भी। तब आप MCMC का उपयोग करना चाह सकते हैं।

— जन गलकोस्की 20

एलन सोकाल से सावधानी का एक शब्द: "मोंटे कार्लो एक बेहद खराब तरीका है; इसका इस्तेमाल केवल तब किया जाना चाहिए जब सभी वैकल्पिक तरीके सबसे खराब हों"। फिर वह MC विधियों के एक लंबे डीक्यूशन पर आलिंगन करता है। stat.unc.edu/faculty/cji/Sokal.pdf

— येर Daon

@ यायर: ऐसा लगता है कि सोकल चर्चिल को देख रहा है।

— कार्डिनल

जब और कुछ नहीं चलेगा ...

— kjetil b halvorsen

जवाबों:

मोंटे कार्लो एकीकरण संख्यात्मक एकीकरण का एक रूप है, जो बहुपद के साथ एकीकरण को अनुमानित करके संख्यात्मक एकीकरण की तुलना में बहुत अधिक कुशल हो सकता है । यह उच्च आयामों में विशेष रूप से सच है, जहां सरल संख्यात्मक एकीकरण तकनीकों को बड़ी संख्या में फ़ंक्शन मूल्यांकन की आवश्यकता होती है। सामान्यीकरण स्थिर गणना करने के लिए , हम महत्व के नमूने का उपयोग कर सकते हैं , $p(D)$

p (D) = \int \frac{q (θ)}{q (θ)} p (θ) p (D ∣ θ) d θ \approx \frac{1}{N} \sum_{n} w_{n} p (θ_{n}) p (D ∣ θ_{n}),

$p(D) = \int \frac{q(\theta)}{q(\theta)} p(\theta)p(D \mid \theta) \, d\theta \approx \frac{1}{N} \sum_n w_n p(\theta_n)p(D \mid \theta_n),$

जहाँ और the को से नमूना लिया जाता है । ध्यान दें कि हमें केवल सैंपल बिंदुओं पर संयुक्त वितरण का मूल्यांकन करने की आवश्यकता है। सही , यह अनुमानक बहुत कम नमूनों की आवश्यकता के अर्थ में बहुत कुशल हो सकता है। व्यवहार में, एक उपयुक्त चुनना मुश्किल हो सकता है, लेकिन यह वह जगह है जहाँ MCMC मदद कर सकता है! घोषित महत्व का नमूना (नील, 1998) महत्वपूर्ण नमूने के साथ MCMC को जोड़ती है। $w_n = 1/q(\theta_n)$ $\theta_n$ $q$ $q$ $q$

MCMC क्यों उपयोगी है, इसका एक और कारण है: हम आमतौर पर भी के पीछे के घनत्व में दिलचस्पी नहीं रखते हैं , बल्कि सारांश आँकड़ों और अपेक्षाओं में , जैसे, $\theta$

\int p (θ ∣ D) f (θ) d θ .

$\int p(\theta \mid D) f(\theta) \, d\theta.$

को जानने का आमतौर पर मतलब नहीं है कि हम इस अभिन्न को हल कर सकते हैं, लेकिन नमूने इसे अनुमान लगाने का एक बहुत ही सुविधाजनक तरीका है। $p(D)$

अंत में, का मूल्यांकन करने में सक्षम होना कुछ MCMC विधियों के लिए एक आवश्यकता है, लेकिन उनमें से सभी नहीं (उदाहरण के लिए, मरे एट अल।, 2006 )। $p(D \mid \theta)p(\theta)$

— लुकास
स्रोत

क्षमा करें, लेकिन यह अभी भी मेरे लिए स्पष्ट नहीं है। मेरा प्रश्न है: यदि हम सिर्फ गुणा करते हैं, तो हम एक अप्राकृतिक पीडीएफ प्राप्त करते हैं। MCMC चलाकर हम एक नमूना प्राप्त करते हैं जिसके लिए हम अप्राकृतिक पीडीएफ का अनुमान लगा सकते हैं। हम चाहें तो दोनों को सामान्य कर सकते हैं। इसलिए, मान लें कि मुझे किसी भी सारांश आंकड़ों में कोई दिलचस्पी नहीं है, लेकिन केवल डाकियों में, हम पहले स्थान पर एमसीएमसी का उपयोग क्यों करते हैं? जैसा कि आपने कहा, कुछ MCMC विधियों को the थी की गणना की आवश्यकता नहीं है , इसलिए मैं उन लोगों का उल्लेख नहीं कर रहा हूँ। जहां तक मुझे पता है, उनमें से अधिकांश को उस की गणना की आवश्यकता है। इन विधियों की उपयोगिता क्या है?

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

— वल

MCMC चलाते समय आपको सामान्यीकृत पीडीएफ से एक नमूना मिलता है, इसलिए सामान्यीकरण स्थिरांक से बचें। और यह मुफ्त में है।

— शीआन

@ वायाल: आपकी धारणा है कि "सामान्यीकरण कारक को आसानी से संख्यात्मक रूप से पाया जा सकता है" केवल सरल अविभाज्य वितरण के लिए है। उच्च-आयामी , सामान्यीकरण सामान्य रूप से अत्यंत कठिन है। इस मामले में, MCMC का उपयोग अभी भी सामान्यीकरण स्थिरांक (जैसे कि एनेल्ड महत्व नमूने के माध्यम से) का अनुमान लगाने के लिए किया जा सकता है।

θ

$\theta$

p (D ∣ θ) p (θ)

$p(D \mid \theta) p(\theta)$

— लुकास

जब आपको एक पूर्व और एक संभावना जो या तो बंद रूप में गणना करने योग्य नहीं होती है या ऐसी होती है, जो पीछे वितरण एक मानक प्रकार का नहीं है, इस लक्ष्य से सीधे एक मोंटे कार्लो के पीछे की तरफ वितरण वितरण संभव नहीं है। एक विशिष्ट उदाहरण गैर-संयुग्मक पुजारियों के साथ पदानुक्रमित मॉडल से बना है, जैसे कि BUGS पुस्तक में पाए जाते हैं । $p(\theta)$ $f(x|\theta)$

p (θ | x) \propto p (θ) f (x | θ)

$p(\theta|x)\propto p(\theta)f(x|\theta)$

अप्रत्यक्ष सिमुलेशन तरीके जैसे कि स्वीकार-अस्वीकार, अनुपात-समान, या महत्व-नमूनाकरण तकनीक कस्टम रूप से संख्यात्मक और सटीक कठिनाइयों में चलती हैं जब पैरामीटर का आयाम कुछ इकाइयों से परे बढ़ जाता है। $\theta$

इसके विपरीत, मार्कोव श्रृंखला मोंटे कार्लो तरीके बड़े आयामों के लिए अधिक उपयुक्त हैं, जिसमें वे स्थानीय आधार पर, अर्थात वर्तमान मूल्य के एक पड़ोस में, और उप-स्थानों पर घटकों की एक छोटी संख्या पर, पीछे वितरण का पता लगा सकते हैं। उदाहरण के लिए, गिब्स सैंपलर इस धारणा को मान्य करता है कि एक समय में एक आयामी लक्ष्य से अनुकरण, अर्थात् पूर्ण सशर्त वितरण से संबंधित है, लंबे समय में सही पीछे से अनुकरण प्राप्त करने के लिए पर्याप्त है। $p(\theta|x)$

मार्कोव श्रृंखला मोंटे कार्लो विधियाँ भी उस एल्गोरिथम में कुछ हद तक सार्वभौमिकता रखती हैं जैसे कि मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथ्म औपचारिक रूप से किसी भी पीछे वितरण जिसे एक निरंतर तक गणना की जा सकती है। $p(\theta|x)$

ऐसे मामलों में जब को आसानी से गणना नहीं की जा सकती है, विकल्प मौजूद हैं, या तो इस वितरण को एक बड़े स्थान पर प्रबंधनीय वितरण में पूरा करके, जैसा कि या ABC जैसी गैर-मार्कोवियन विधियों के माध्यम से । $p(\theta)f(x|\theta)$

p (θ) f (x | θ) \propto \int g (z | θ, x) p (θ) f (x | θ) d z

$p(\theta)f(x|\theta)\propto \int g(z|\theta,x) p(\theta)f(x|\theta)\text{d}z$

1990 के दशक में एलन गेलफैंड और एड्रियन स्मिथ द्वारा इस पद्धति की लोकप्रियता का अनुसरण करते हुए MCMC विधियों ने बायेसियन विधियों के लिए अधिक व्यापक पहुंच प्रदान की है।

— शीआन
स्रोत

बुक्स बुक से लिंक अब काम नहीं कर रहा है।

— हैलोवर्ल्ड