क्या अनुकूली MCMC पर भरोसा किया जा सकता है?

Question

मैं एडाप्टिव MCMC (उदाहरण के लिए, मार्कोव चेन मोंटे कार्लो की पुस्तिका के अध्याय 4 देखें ) , एडम्स , एट अल।, 2011; और साथ ही एंड्रीयू एंड थॉमस, 2008 भी पढ़ रहा हूं ।

रॉबर्ट्स और रोसेंथल (2007) का मुख्य परिणाम यह है कि यदि अनुकूलन योजना लुप्त हो रही अनुकूलन स्थिति (प्लस कुछ अन्य तकनीकी) को संतुष्ट करती है , तो किसी भी योजना के तहत अनुकूली एमसीएमसी एर्गोडिक है। उदाहरण के लिए, लुप्त हो रहे अनुकूलन को आसानी से साथ संक्रमण पर संक्रमण ऑपरेटर के उपयोग द्वारा प्राप्त किया जा सकता है , ।$n$$p(n)$$\lim_{n \rightarrow \infty} p(n) = 0$

यह परिणाम (पोस्टीरियर) सहज, asymptotically है। चूंकि अनुकूलन की मात्रा शून्य हो जाती है, अंततः यह एर्गोडिसिटी के साथ खिलवाड़ नहीं करेगा। मेरी चिंता यह है कि परिमित समय के साथ क्या होता है ।

• हमें कैसे पता चलेगा कि एक निश्चित समय पर अनुकूलन एरगोडिटी के साथ खिलवाड़ नहीं कर रहा है, और यह कि एक नमूना सही वितरण से नमूना कर रहा है? यदि यह बिल्कुल समझ में आता है, तो यह सुनिश्चित करने के लिए कितना जलना चाहिए कि जल्दी से अनुकूलन चेन को पूर्वाग्रह नहीं कर रहा है?

• क्या क्षेत्र के चिकित्सकों को अनुकूली MCMC पर भरोसा है ? मैं जो पूछ रहा हूं वह इसलिए है क्योंकि मैंने कई हालिया विधियां देखी हैं, जो निर्माण में अनुकूलन करने की कोशिश करते हैं, और अधिक जटिल तरीके जो ergodicity का सम्मान करने के लिए जाने जाते हैं, जैसे कि उत्थान या पहनावा विधि (यानी, एक संक्रमण का चयन करना कानूनी है ऑपरेटर जो अन्य समानांतर श्रृंखलाओं की स्थिति पर निर्भर करता है)। वैकल्पिक रूप से, अनुकूलन केवल बर्न-इन के दौरान किया जाता है, जैसे स्टेन में , लेकिन रनटाइम पर नहीं। ये सभी प्रयास मुझे सुझाव देते हैं कि रॉबर्ट्स और रोसेन्थल के अनुसार अनुकूली एमसीएमसी (जो लागू करने के लिए अविश्वसनीय रूप से सरल होगा) विश्वसनीय नहीं माना जाता है; लेकिन शायद अन्य कारण भी हैं।

• विशिष्ट कार्यान्वयन के बारे में क्या है, जैसे कि अनुकूली मेट्रोपोलिस-हेस्टिंग्स ( Haario et al। 2001 )।

---

संदर्भ

• रोसेन्थल, जेएस (2011)। इष्टतम प्रस्ताव वितरण और अनुकूली एमसीएमसी। हैंडबुक ऑफ़ मार्कोव चेन मोंटे कार्लो , 93-112।
• एंड्री, सी।, और थॉमस, जे। (2008) । अनुकूली MCMC पर एक ट्यूटोरियल। सांख्यिकी और कम्प्यूटिंग , 18 (4), 343-373।
• रॉबर्ट्स, जीओ, और रोसेन्थल, जेएस (2007) । अनुकूली मार्कोव श्रृंखला मोंटे कार्लो एल्गोरिदम के युग्मन और एर्गोडेसिटी। लागू संभावना का जर्नल , 458-475।
• हारियो, एच।, सक्समैन, ई।, और तमिनमिन, जे (2001) । एक अनुकूली मेट्रोपोलिस एल्गोरिथ्म। बर्नोली , 223-242।

Comments

+1 लेकिन क्या गैर-अनुकूली MCMC के लिए भी सीमित समय की गारंटी है?

— जुहो कोक्कल

@JuhoKokkala: शायद नहीं, लेकिन ऐसा लगता है कि अनुकूली MCMC के साथ असफलता के संभावित तरीकों की एक और परत जुड़ रही है, जो अभिसरण के मानक मुद्दों की तुलना में कम समझ में आती है और कठिन होती है (जो कि आपके से निदान के लिए पहले से ही काफी कठिन हैं)। कम से कम, यह मेरी समझ में क्यों चिकित्सकों (मैं, एक के लिए) से सावधान रहना होगा।

— लेकेबी

मुझे लगता है कि जलने के दौरान अनुकूलन अनुकूलन से निपटने का सबसे अच्छा तरीका है। जाहिर है कि अगर आपके पास अपने कुछ क्षेत्रों के लिए अलग-अलग ट्यूनिंग की आवश्यकता होती है, तो आपके पास अन्य मुद्दे होंगे, लेकिन अगर ऐसा है, तो यदि आप पूरी तरह से अनुकूली एमसीएमसी चलाते हैं, तो वैसे भी लुप्त होने की स्थिति के कारण आपको अधिक अनुकूलन करने की अनुमति नहीं होगी। ।

— sega_sai

Answer 1

हमें कैसे पता चलेगा कि एक निश्चित समय पर अनुकूलन एरगोडिटी के साथ खिलवाड़ नहीं कर रहा है, और यह कि एक नमूना सही वितरण से नमूना कर रहा है? अगर यह बिल्कुल समझ में आता है, तो यह सुनिश्चित करने के लिए कितना जलना चाहिए कि शुरुआती अनुकूलन चेन को पूर्वाग्रह नहीं कर रहा है?

एर्गोडिसिटी और पूर्वाग्रह मार्कोव श्रृंखला के विषम गुणों के बारे में हैं, वे मार्कोन श्रृंखला के व्यवहार और वितरण के बारे में कुछ नहीं बताते हैं at a given finite time। अनुकूलन का इस मुद्दे से कोई लेना-देना नहीं है, कोई भी MCMC एल्गोरिदम लक्ष्य से दूर सिमुलेशन का उत्पादन कर सकता है at a given finite time।

Comments

(+1) स्पष्टीकरण के लिए धन्यवाद। हां, मैं समझता हूं कि MCMC एल्गोरिदम की कोई गारंटी नहीं है at a given finite time। हालाँकि, व्यवहार में हम उनका उपयोग ऐसे करते हैं जैसे कि वे दिए गए परिमित समय पर लक्ष्य वितरण के अच्छे / उचित अनुमान प्रदान करते हैं, भले ही ज्यादातर मामलों में कोई सैद्धांतिक गारंटी नहीं है (AFAIK केवल कुछ मामलों को गणितीय रूप से समझा जाता है)। शायद मुझे कहना चाहिए " मिश्रण समय के साथ खिलवाड़ "? इसका मतलब है कि मैं क्या मतलब था। यदि आपके पास भाषा को ठीक करने के बारे में सुझाव हैं तो कृपया मुझे बताएं।

— लकेरबी