समान उम्मीदवार वितरण के साथ मेट्रोपोलिस-हेस्टिंग्स के लिए स्वीकृति दर

9

समान उम्मीदवार वितरण के साथ मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम को चलाने पर, स्वीकृति दर लगभग 20% होने का औचित्य क्या है?

मेरी सोच यह है: एक बार जब सच्चे (या सत्य के करीब) पैरामीटर मानों की खोज की जाती है, तो समान समान अंतराल से उम्मीदवार पैरामीटर मानों का कोई नया सेट संभावना फ़ंक्शन के मूल्य में वृद्धि नहीं करेगा। इसलिए, जितनी अधिक पुनरावृत्तियां चलती हैं, उतनी कम स्वीकृति दर मुझे मिलनी चाहिए।

मैं इस सोच में गलत कहाँ हूँ? बहुत धन्यवाद!

यहाँ मेरी गणना का चित्रण है:

A c c e p t a n c e_r a t e = \exp {l (θ_{c} | y) + \log (p (θ_{c})) - [l (θ^{*} | y) + \log (p (θ^{*})]},

$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$

जहां लॉग-लाइबिलिटी है। $l$

जैसा कि उम्मीदवारों को हमेशा एक ही समान अंतराल से लिया जाता है, $\theta$

p (θ_{c}) = p (θ^{*}) .

$p(\theta_c) = p(\theta^*).$

इसलिए स्वीकृति दर गणना नीचे सिकुड़ जाती है:

A c c e p t a n c e_r a t e = \exp {l (θ_{c} | y) - [l (θ^{*} | y)]}

$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$

का स्वीकृति नियम इस प्रकार है: $\theta_c$

यदि , जहां अंतराल में समान वितरण से आकर्षित होता है , तब $U \le Acceptance\_rate$ $U$ $[0,1]$

θ^{*} = θ_{c},

$\theta^* = \theta_c,$

वरना अंतराल में एक समान वितरण से ड्रा करें $\theta_c$ $[\theta_{min}, \theta_{max}]$

— auretaure
स्रोत

1

मैंने बेहतर पठनीयता के लिए स्वरूपण को बदल दिया है, यह सुनिश्चित करने के लिए जांचें कि मैंने मूल अर्थ नहीं बदला है।

— एमपिकटस

9

मेरा मानना है कि रॉबर्ट्स, गेलमैन और गिल्क्स द्वारा यादृच्छिक वॉक मेट्रोपोलिस एल्गोरिदम का कमजोर अभिसरण और इष्टतम स्केलिंग 0.234 इष्टतम स्वीकृति दर का स्रोत है।

पेपर से पता चलता है कि कुछ मान्यताओं के तहत, आप यादृच्छिक वॉक मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम को स्केल कर सकते हैं क्योंकि अंतरिक्ष का आयाम प्रत्येक समन्वय के लिए एक सीमित प्रसार प्राप्त करने के लिए अनंत तक जाता है। सीमा में, प्रसार को "सबसे कुशल" के रूप में देखा जा सकता है यदि स्वीकृति दर 0.234 लेता है। सहज रूप से, यह कई छोटे स्वीकृत कदमों और अस्वीकार किए जाने वाले कई बड़े प्रस्तावों को बनाने के बीच का व्यापार है।

मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम वास्तव में एक अनुकूलन एल्गोरिथ्म नहीं है, नकली एनालिंग के विपरीत। यह एक एल्गोरिथ्म है जिसे लक्ष्य वितरण से अनुकरण करना है, इसलिए स्वीकृति संभावना 0 की ओर नहीं होनी चाहिए।

— NRH
स्रोत

9

बस @NRH द्वारा उत्तर देने के लिए जोड़ना है। सामान्य विचार गोल्डीलॉक्स प्रिंसिपल का अनुसरण करता है :

यदि कूद "बहुत बड़े" हैं, तो श्रृंखला चिपक जाती है;
यदि कूद "बहुत छोटा" है, तो श्रृंखला पैरामीटर स्थान की बहुत धीमी पड़ती है;
हम चाहते हैं कि छलांग सही हो।

बेशक, सवाल यह है कि "सही" से हमारा क्या मतलब है। अनिवार्य रूप से, किसी विशेष मामले के लिए वे अपेक्षित वर्ग कूद दूरी को कम करते हैं। यह लैग -1 ऑटोकरेलेशन को कम करने के बराबर है। हाल ही में, शर्लक और रॉबर्ट्स ने दिखाया कि जादू 0.234 अन्य लक्ष्य वितरण के लिए है:

सी। शरलॉक, जी। रॉबर्ट्स (2009); अण्डाकार रूप से सममित अनिमॉडल लक्ष्यों पर यादृच्छिक वॉक मेट्रोपोलिस का इष्टतम स्केलिंग ; बर्नौली 15 (3)

— csgillespie
स्रोत

1

(+1) उस संदर्भ के लिए धन्यवाद। यहां एक और संदर्भ दिखाया गया है कि 0.234 पूरी कहानी नहीं है।

— एनआरएच

2

मैं इसे एक उत्तर के रूप में जोड़ रहा हूं क्योंकि मेरे पास सवाल के तहत टिप्पणी करने के लिए पर्याप्त प्रतिष्ठा नहीं है। मुझे लगता है कि आप स्वीकृति दर और स्वीकृति अनुपात के बीच भ्रमित हैं ।

किसी उम्मीदवार को स्वीकार या अस्वीकार करने का निर्णय लेने के लिए स्वीकृति अनुपात का उपयोग किया जाता है। जिस अनुपात को आप स्वीकृति दर कह रहे हैं, उसे वास्तव में स्वीकृति अनुपात कहा जाता है और यह स्वीकृति दर से भिन्न होता है।
स्वीकृति दर उम्मीदवारों को स्वीकार करने की दर है। यह MCMC श्रृंखला में अद्वितीय मूल्यों की संख्या का अनुपात है जो MCMC श्रृंखला में मूल्यों की कुल संख्या है।

अब आपकी अधिकतम स्वीकृति दर 20% होने का संदेह वास्तव में वास्तविक स्वीकृति दर के बारे में है, न कि स्वीकृति अनुपात। इसका उत्तर अन्य उत्तरों में दिया गया है। मैं सिर्फ उस भ्रम को इंगित करना चाहता था जो आप कर रहे हैं।

— Safwan
स्रोत

1

यह मुझे जवाब देने के लिए पर्याप्त लगता है। साइट पर आपका स्वागत है, @MusafitSafwan। चूंकि आप यहां नए हैं, इसलिए आप हमारे दौरे को ले सकते हैं , जिसमें नए उपयोगकर्ताओं के लिए जानकारी है।

— गंग -