MCMC के लिए प्रदर्शन बेंचमार्क


14

क्या MCMC विधियों के बड़े पैमाने पर अध्ययन हुए हैं जो परीक्षण घनत्व के एक सूट पर कई अलग-अलग एल्गोरिदम के प्रदर्शन की तुलना करते हैं? मैं Rios और साहिनिडिस के पेपर (2013) के समकक्ष कुछ सोच रहा हूं , जो कि परीक्षण कार्यों के कई वर्गों पर बड़ी संख्या में व्युत्पन्न-मुक्त ब्लैक-बॉक्स ऑप्टिमाइज़र की पूरी तरह से तुलना है।

MCMC के लिए, प्रदर्शन का अनुमान लगाया जा सकता है, उदाहरण के लिए, घनत्व मूल्यांकन या कुछ अन्य उपयुक्त मीट्रिक प्रति नमूनों (ईएसएस) की प्रभावी संख्या।

कुछ टिप्पणियाँ:

  • मैं सराहना करता हूं कि प्रदर्शन दृढ़ता से लक्ष्य पीडीएफ के विवरण पर निर्भर करेगा , लेकिन एक समान (संभवतः समान नहीं) तर्क अनुकूलन के लिए रखता है, और फिर भी बेंचमार्क फ़ंक्शंस, सुइट्स, प्रतियोगिताओं, पेपर आदि का ढेर है जो बेंचमार्किंग अनुकूलन के साथ संबंधित है। एल्गोरिदम।

  • इसके अलावा, यह सच है कि MCMC अनुकूलन में भिन्न है कि तुलनात्मक रूप से बहुत अधिक देखभाल और ट्यूनिंग उपयोगकर्ता से आवश्यक है। फिर भी, अब कई MCMC विधियाँ हैं जिनके लिए बहुत कम या बिना ट्यूनिंग की आवश्यकता होती है: वे विधियाँ जो सैंपलिंग या मल्टी-स्टेट (जिसे पहनावा भी कहा जाता है ) विधियों (जैसे Emcee ) के दौरान जलने वाले चरण में अनुकूलित होती हैं, जो कई परस्पर क्रिया श्रृंखलाओं को विकसित करती हैं और उपयोग करती हैं। नमूने का मार्गदर्शन करने के लिए अन्य जंजीरों से जानकारी।

  • मैं विशेष रूप से मानक और बहु-राज्य (उर्फ पहनावा) तरीकों के बीच तुलना में दिलचस्पी रखता हूं। बहु-राज्य की परिभाषा के लिए, मैकके की पुस्तक की धारा 30.6 देखें :

एक बहु-राज्य विधि में, कई पैरामीटर वैक्टर बनाए रखे जाते हैं; वे महानगर और गिब्स जैसे कदमों के तहत व्यक्तिगत रूप से विकसित होते हैं; वैक्टर के बीच बातचीत भी कर रहे हैं।एक्स

  • यह प्रश्न यहीं से उत्पन्न हुआ ।

अपडेट करें

  • मल्टी-स्टेट उर्फ ​​पहनावा के तरीकों पर एक दिलचस्प कदम के लिए, गैल्मन के ब्लॉग पर बॉब कारपेंटर द्वारा इस ब्लॉग पोस्ट को देखें , और मेरी टिप्पणी इस सीवी पोस्ट का जिक्र करती है।

जवाबों:


5

कुछ ऑनलाइन खोज के बाद, मैं इस धारणा के तहत आया हूं कि स्थापित एमसीएमसी विधियों का एक व्यापक बेंचमार्क, जो अनुकूलन साहित्य में किसी को भी मिल सकता है, के अनुरूप नहीं है। (मुझे यहां गलत होने पर खुशी होगी।)

लागू डोमेन के भीतर विशिष्ट समस्याओं पर कुछ MCMC तरीकों की तुलना करना आसान है। यह ठीक होगा यदि हम इस जानकारी को पूल कर सकते हैं - हालांकि, इस तरह के बेंचमार्क की गुणवत्ता अक्सर अपर्याप्त होती है (जैसे, रिपोर्ट की गई मैट्रिक्स या खराब डिजाइन विकल्पों में कमी के कारण)।

निम्नलिखित में मैं पोस्ट करूँगा कि मेरा मानना ​​है कि मूल्यवान योगदान हैं जैसा कि मैं उन्हें पाता हूं:

  • निशिहारा, मरे और एडम्स, सामान्यीकृत अण्डाकार स्लाइस नमूनाकरण के साथ समानांतर MCMC , JMLR (2014)। लेखक एक उपन्यास बहु-राज्य पद्धति का प्रस्ताव करते हैं, GESS, और 7 अन्य कार्यों पर 6 अन्य एकल-राज्य और बहु-राज्य विधियों के साथ तुलना करते हैं। वे ईएसएस (प्रभावी नमूना आकार) प्रति सेकंड और फ़ंक्शन मूल्यांकन के रूप में प्रदर्शन का मूल्यांकन करते हैं।

  • SamplerCompare MCMC एल्गोरिदम बेंचमार्किंग के लक्ष्य के साथ एक आर पैकेज है - वास्तव में मैं अपने मूल प्रश्न के बारे में क्या पूछ रहा था। दुर्भाग्य से, पैकेज में केवल कुछ परीक्षण कार्य शामिल हैं; साथ में आने वाली कागज़ात कोई वास्तविक बेंचमार्क नहीं है (सिर्फ एक छोटा उदाहरण); और ऐसा लगता है कि कोई अनुवर्ती कार्रवाई नहीं हुई है।

थॉम्पसन, मैडेलीन बी। "सैम्पलर.कॉम का परिचय।" जर्नल ऑफ़ स्टैटिस्टिकल सॉफ्टवेयर 43.12 (2011): 1-10 ( लिंक )।

  • मल्टी-स्टेट उर्फ ​​पहनावा के तरीकों पर एक दिलचस्प कदम के लिए, गैल्मन के ब्लॉग पर बॉब कारपेंटर द्वारा इस ब्लॉग पोस्ट को देखें , और मेरी टिप्पणी इस सीवी पोस्ट का जिक्र करती है।

आपका दूसरा लिंक मर चुका है - क्या आप इसे काम करने के लिए बदल सकते हैं?
टिम

आप दिसंबर 2017 के इस पत्र पर एक नज़र डालना चाहते हैं: रयान टर्नर और ब्रैडी नील, आपका नमूना वास्तव में कितना अच्छा काम करता है? यह MCMC एल्गोरिदम के लिए एक अच्छे बेंचमार्क के साथ आने की इस समस्या का सटीक समाधान प्रदान करता है।
कार्ल

2

मैं आपके आकलन से सहमत हूँ कि MCMC विधियों के लिए कोई व्यापक बेंचमार्क स्थापित नहीं है। इसका कारण यह है कि प्रत्येक MCMC पारखी के पास पेशेवरों और विपक्ष हैं, और यह अत्यंत विशिष्ट समस्या है।

एक विशिष्ट बायेसियन मॉडलिंग सेटिंग में, आप डेटा अलग होने पर विविध मिश्रण दरों के साथ एक ही नमूना चला सकते हैं। मैं यह कहने की सीमा तक जाऊंगा कि यदि भविष्य में एमसीएमसी के विभिन्न नमूनों का एक व्यापक बेंचमार्क अध्ययन सामने आता है, तो मुझे दिखाए गए उदाहरणों के बाहर लागू होने वाले परिणामों पर भरोसा नहीं होगा।

नमूने की गुणवत्ता का आकलन करने के लिए ईएसएस के उपयोग के संबंध में, यह ध्यान देने योग्य है कि ईएसएस उस मात्रा पर निर्भर करता है जिसे नमूने से अनुमान लगाया जाना है। यदि आप नमूने का मतलब ढूंढना चाहते हैं, तो प्राप्त ईएसएस अलग होगा यदि आप 25 वें मात्रात्मक का अनुमान लगाना चाहते हैं। यह कहते हुए कि, यदि ब्याज की मात्रा तय की गई है, तो ईएसएस नमूनाकर्ताओं की तुलना करने का एक उचित तरीका है। शायद एक बेहतर विचार ईएसएस प्रति यूनिट समय है।

ESS के साथ एक दोष यह है कि बहुभिन्नरूपी आकलन समस्याओं के लिए, ESS प्रत्येक घटक के लिए अलग से एक प्रभावी नमूना आकार देता है, अनुमान प्रक्रिया में सभी क्रॉस-सहसंबंधों को अनदेखा करता है। में इस हाल ही में कागज, बहुविविध ईएसएस प्रस्ताव किया गया है, और में लागू Rपैकेज mcmcseसमारोह के माध्यम से multiESS। यह स्पष्ट नहीं है कि यह विधि codaपैकेज के ईएसएस की तुलना कैसे करती है, लेकिन बहुत शुरुआत में यह यूनिवेट आरएसएस विधियों की तुलना में अधिक उचित लगता है।


2
(+1) उत्तर के लिए धन्यवाद। मैं आपकी कुछ बातों से सहमत हूं, लेकिन मुझे अभी भी लगता है कि इस तरह के बेंचमार्क से कुछ जानकारी हासिल की जा सकती है। भविष्य के विकल्पों को निर्देशित करने के लिए कोई भी ऐसे बेंचमार्क के परिणामों का उपयोग कैसे करता है - यह उनके ऊपर है, लेकिन कुछ सबूत बिना किसी सबूत से बेहतर हैं। ईएसएस के बारे में अच्छे अंक। बहु-राज्य से मेरा मतलब है बहु-राज्य (या बहु-श्रृंखला, यदि आप पसंद करते हैं), तो बस बहुभिन्नरूपी नहीं - मेरे मूल प्रश्न में मैकके की पुस्तक का उद्धरण देखें।
लैकरबी

2
सामान्य तौर पर, कुछ नमूनों को मल्टीमॉडल वितरण (एमएच, गिब्स) के लिए खराब प्रदर्शन करने के लिए जाना जाता है, और कुछ गैर-उत्तल समर्थन (हैमिल्टनियन एमसी) के लिए खराब हैं। दूसरी ओर, उच्च आयामी समस्याओं के लिए हैमिल्टनियन एमसी अच्छी तरह से काम करता है और मल्टीमॉडल वितरण के लिए सिम्युलेटेड टेम्परिंग आदि अच्छे हैं। ऐसा करने के लिए किसी भी बेंच मार्किंग, एक लक्ष्य वितरण के विभिन्न व्यापक वर्ग को परिभाषित करने की आवश्यकता हो सकती (उप-घातीय, लॉग अवतल आदि) के परिणाम आम तौर पर व्याख्या होने के लिए।
ग्रीनपार्क

1
ठीक है, हाँ, यह एल्गोरिदम के एक वर्ग के लिए एक बेंचमार्क बनाने का पूरा बिंदु है। उदाहरण के लिए इसे वैश्विक अनुकूलन के लिए देखें । स्पष्ट रूप से MCMC के लिए एक बेंचमार्क सिर्फ अनुकूलन के लिए मौजूदा लोगों को उधार नहीं दे सकता है; एमसीएमसी समस्याओं के लिए विशिष्ट, सामान्य और ब्याज के रूप में लक्षित घनत्व की विशेषताओं पर ध्यान देने की आवश्यकता है, जैसा कि आपने उल्लेख किया है।
लकेरी
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.