क्या MCMC आधारित विधियाँ उपयुक्त हैं, जब अधिकतम-पश्च-निर्धारण अनुमान उपलब्ध है?

Question

मैं देख रहा हूं कि कई व्यावहारिक अनुप्रयोगों में, MCMC- आधारित विधियों का उपयोग एक पैरामीटर का अनुमान लगाने के लिए किया जाता है, भले ही पीछे का विश्लेषणात्मक हो (उदाहरण के लिए क्योंकि पादरियों को संयुग्मित किया गया था)। मेरे लिए, यह MCMC- आधारित अनुमानकों के बजाय MAP- आकलनकर्ताओं के उपयोग के लिए अधिक समझ में आता है। क्या कोई इंगित कर सकता है कि एक विश्लेषणात्मक पश्च की उपस्थिति में MCMC अभी भी एक उपयुक्त विधि क्यों है?

Comments

क्या आप व्यवहार में इसका उदाहरण दे सकते हैं? ध्यान दें कि पूर्ववर्ती संयुग्मित और सशर्त रूप से संयुग्मित होने से अंतर है । कई गिब्स नमूने के अनुप्रयोगों में, चुने गए पुजारी सशर्त रूप से संयुग्मित होते हैं, लेकिन पहले स्वयं संयुग्म नहीं होते हैं; उदाहरण के लिए, लेटेंट डिरिचलेट आवंटन पर विचार करें।

— लड़का

यह स्पष्ट नहीं है कि MAP का इससे क्या लेना-देना है। बेयस अनुमानक पश्च माध्य है, न कि पश्चवर्ती विधा। यहां तक ​​कि जब पुजारी संयुग्मित नहीं होते हैं, तो आप अक्सर एमएपी अनुमानक प्राप्त करने के लिए कुछ अनुकूलन कर सकते हैं - एसटीएएन किसी भी पूर्व के लिए अधिक-या-कम करता है। MCMC करने का मतलब यह है कि पश्च वितरण का अनुमान लगाना, जिसमें केवल MAP अनुमानक की तुलना में बहुत अधिक जानकारी है।

— लड़का

Answer 1

इस मामले में एमसीएमसी का उपयोग करने की आवश्यकता नहीं है: मार्कोव चेन मोंटे-कार्लो (एमसीएमसी) एक वितरण से मान उत्पन्न करने के लिए उपयोग की जाने वाली विधि है। यह लक्ष्य वितरण के बराबर स्थिर वितरण के साथ ऑटो-सहसंबद्ध मूल्यों की एक मार्कोव श्रृंखला का उत्पादन करता है। यह विधि अभी भी आपको वही प्राप्त करने के लिए काम करेगी जो आप चाहते हैं, यहां तक ​​कि उन मामलों में भी जहां लक्ष्य वितरण का एक विश्लेषणात्मक रूप है। हालांकि, ऐसे सरल और कम कम्प्यूटेशनल तरीके हैं जो इस तरह के मामलों में काम करते हैं, जहां आप एक ऐसे पोस्टीरियर से निपट रहे हैं जिसमें एक अच्छा विश्लेषणात्मक रूप है।

उस स्थिति में जहां पीछे के वितरण में एक उपलब्ध विश्लेषणात्मक रूप है, मानक कैलकुलस तकनीकों का उपयोग करके उस वितरण से अनुकूलन द्वारा पैरामीटर अनुमान (जैसे, एमएपी) प्राप्त करना संभव है। यदि लक्ष्य वितरण पर्याप्त रूप से सरल है, तो आपको पैरामीटर अनुमानक के लिए एक बंद फॉर्म समाधान मिल सकता है, लेकिन भले ही यह नहीं है, आप आमतौर पर सरल पुनरावृत्ति तकनीकों (जैसे, न्यूटन-राफसन, ढाल-वंश, आदि) का उपयोग कर सकते हैं। किसी दिए गए इनपुट डेटा के लिए पैरामीटर अनुमान का अनुकूलन। यदि आपके पास लक्ष्य वितरण के मात्रात्मक कार्य के लिए एक विश्लेषणात्मक रूप है, और आपको वितरण से मान उत्पन्न करने की आवश्यकता है, तो आप इसका उलटा रूप नमूनाकरण के माध्यम से कर सकते हैं, जो एमसीएमसी की तुलना में कम कम्प्यूटेशनल रूप से गहन है, और आपको जटिल ऑटो-सहसंबंध पैटर्न वाले मूल्यों के बजाय आईआईडी मान उत्पन्न करने की अनुमति देता है।

इसे देखते हुए, यदि आप खरोंच से प्रोग्रामिंग कर रहे थे, तो ऐसा कोई कारण नहीं लगता है कि आप एमसीएमसी का उपयोग उस स्थिति में करेंगे जहां लक्ष्य वितरण के पास उपलब्ध विश्लेषणात्मक रूप है। ऐसा करने का एकमात्र कारण यह है कि यदि आपके पास MCMC के लिए एक जेनेरिक एल्गोरिदम पहले से ही लिखा है, जिसे न्यूनतम प्रयास के साथ लागू किया जा सकता है, और आप यह तय करते हैं कि आवश्यक गणित करने के प्रयास से विश्लेषणात्मक रूप का उपयोग करने की दक्षता से आगे निकल जाते हैं। कुछ व्यावहारिक संदर्भों में आप उन समस्याओं से निपटेंगे जो आम तौर पर असाध्य होती हैं, जहां MCMC एल्गोरिदम पहले से ही सेट हैं और न्यूनतम प्रयास के साथ लागू किया जा सकता है (जैसे, यदि आप डेटा विश्लेषण करते हैंRStan)। इन मामलों में समस्याओं के विश्लेषणात्मक समाधान निकालने के बजाय अपने मौजूदा एमसीएमसी तरीकों को चलाना सबसे आसान हो सकता है, हालांकि बाद वाले को आपके काम पर एक चेक के रूप में इस्तेमाल किया जा सकता है।

Answer 2

मेरे लिए यह स्पष्ट नहीं है कि आप विश्लेषणात्मक पोस्टीरियर को क्यों कहते हैं और इसलिए इस विश्लेषणात्मकता को एमसीएमसी का उपयोग करने से रोकना चाहिए। यहां तक ​​कि एक पश्च वितरण के लिए जो कि बंद रूप में उपलब्ध है, जिसमें सामान्य को स्थिर करना शामिल है, जो कि मैं इस सेटिंग में विश्लेषणात्मक समझ रहा हूं , बेयस अनुमानों को बंद रूप में उपलब्ध होने का कोई कारण नहीं है, जैसा कि समस्या को हल करने के लिए जब दृढ़ता से नुकसान फ़ंक्शन पर निर्भर करता है।$\pi(\theta)$

$$\min_\delta\int_\Theta \text{L}(\theta,\delta)\,\tilde\pi(\theta)\,f(x|\theta)\,\text{d}\theta$$ $\tilde\pi(\cdot)\propto\pi(\cdot)$

जब सामान्य स्थिरांक उपलब्ध नहीं होता है, तो

$$\int \tilde\pi(\theta)\,\text{d}\theta$$ एक पश्च माध्य या माध्यिका या यहां तक ​​कि मोड का पता लगाना [जिसे स्थिरांक जानने की आवश्यकता नहीं है], अधिकांश आय MCMC एल्गोरिथ्म के माध्यम से। उदाहरण के लिए, यदि मुझे संयुक्त घनत्व दिया जाता है , जब , से प्रेरित अली-मिखाइल-हक योजक : यह ठीक से सामान्यीकृत किया जा सकता है (और वास्तव में है), लेकिन सशर्त उम्मीद की दिए गए इस घनत्व, जब तहत$x,y\in(0,1)$

$$f_\theta(x,y)=\dfrac{1+\theta[(1+x)(1+y)-3]+\theta^2(1-x)(1-y)) }{[1-\theta(1-x)(1-y)]^3}\qquad\theta\in(-1,1)$$ $\Phi^{-1}(X)$$Y=y$$\Phi(.)$सामान्य cdf है, बंद रूप में उपलब्ध नहीं है। हालांकि यह प्राथमिक हित का सवाल है ।

यह भी ध्यान दें कि एक बेसेरियन सेटिंग में अधिकतम पोस्टीरियर अनुमानक सबसे प्राकृतिक आकलनकर्ता नहीं है , क्योंकि यह एक हानि फ़ंक्शन के अनुरूप नहीं है और घनत्व के बंद-रूप निरूपण, यहां तक ​​कि एक स्थिरांक तक, एमएपी का पता नहीं लगाता है। जरूरी आसान है। या प्रासंगिक एमएपी का उपयोग कर।

Answer 3

जैसा कि मैंने पढ़ा है, यह सवाल कुछ हद तक रूढ़िवादी सवाल पूछ रहा है। एक के बाद के साधनों पर एमएपी-आकलनकर्ताओं का उपयोग करना चाहिए, और दूसरा यह है कि क्या एमसीएमसी को चाहिए कि यदि पोस्टीरियर का विश्लेषणात्मक रूप है।

एक सैद्धांतिक दृष्टिकोण से, बाद के साधनों पर एमएपी के अनुमानों के संबंध में, सामान्य रूप से पीछे के साधन आमतौर पर पसंद किए जाते हैं, जैसा कि उनके उत्तर में @Xian नोट हैं। एमएपी अनुमानकर्ताओं के लिए वास्तविक लाभ यह है कि विशेष रूप से अधिक विशिष्ट मामले में जहां पोस्टीरियर बंद रूप में नहीं है, उन्हें पोस्टराइड माध्य के अनुमान की तुलना में बहुत तेज (यानी परिमाण के कई आदेश) की गणना की जा सकती है। यदि पोस्टीरियर लगभग सममित है (जो अक्सर बड़े नमूना आकारों के साथ कई समस्याओं में होता है), तो एमएपी अनुमान पोस्टीरियर माध्य के बहुत करीब होना चाहिए। तो MAP का आकर्षण वास्तव में यह है कि यह पश्च माध्य का एक बहुत सस्ता सन्निकटन हो सकता है।

ध्यान दें कि सामान्य स्थिति को जानने से हमें पोस्टीरियर मोड का पता लगाने में मदद नहीं मिलती है, इसलिए तकनीकी रूप से पीछे के लिए एक बंद फॉर्म समाधान होने से हमें एमएपी अनुमान का पता लगाने में मदद नहीं मिलती है, उस मामले के बाहर जहां हम पोस्टीरियर को एक विशिष्ट वितरण के रूप में पहचानते हैं जिसके लिए हम जानते हैं कि यह मोड है।

दूसरे प्रश्न के संबंध में, यदि किसी के पास वितरण का एक बंद रूप है, तो आम तौर पर बोलना एमसीएमसी एल्गोरिदम का उपयोग करने का कोई कारण नहीं है। सैद्धांतिक रूप से, यदि आपके पास पश्च वितरण के लिए एक बंद फ़ॉर्म समाधान था, लेकिन कुछ फ़ंक्शन के लिए एक बंद फ़ॉर्म नहीं था और इस बंद फ़ॉर्म वितरण से सीधे ड्रॉ नहीं ले सकता है, तो कोई MCMC एल्गोरिदम में बदल सकता है। लेकिन मुझे इस स्थिति के किसी भी मामले की जानकारी नहीं है।

Answer 4

मैं तर्क था कि एमसीएमसी तरीकों जरूरी नहीं हैं अनुचित , तब भी जब पूर्ण-सूत्र समाधान मौजूद। जाहिर है, यह अच्छा है जब एक विश्लेषणात्मक समाधान मौजूद है: वे आमतौर पर तेज़ होते हैं, आप अभिसरण (आदि) के बारे में चिंताओं से बचते हैं।

दूसरी ओर, संगति भी महत्वपूर्ण है। तकनीक से तकनीक पर स्विच करना आपकी प्रस्तुति को जटिल बनाता है: कम से कम, यह विलुप्त होने वाला विवरण है जो दर्शकों को आपके मूल परिणाम से दूर कर सकता है या विचलित कर सकता है, और सबसे खराब यह परिणामों को पूर्वाग्रहित करने के प्रयास की तरह लग सकता है। अगर मेरे पास कई मॉडल थे, जिनमें से कुछ ही बंद-बंद समाधानों को स्वीकार करते हैं, तो मैं दृढ़ता से उन सभी को एक ही एमसीएमसी पाइपलाइन के माध्यम से चलाने पर विचार करूंगा, भले ही यह कड़ाई से आवश्यक न हो।

मुझे इस पर संदेह है, साथ ही जड़ता ("हमारे पास यह स्क्रिप्ट है जो काम करती है") जो आप देख रहे हैं उनमें से अधिकांश के लिए खाते हैं।