उच्च-आयामी फ़ंक्शन के अपेक्षित मूल्य का मूल्यांकन करने के लिए MCMC का उपयोग करना

मैं एक शोध परियोजना पर काम कर रहा हूं जो अनुकूलन से संबंधित है और हाल ही में इस सेटिंग में एमसीएमसी का उपयोग करने का विचार था। दुर्भाग्य से, मैं MCMC विधियों के लिए काफी नया हूं इसलिए मेरे पास कई प्रश्न थे। मैं समस्या का वर्णन करके और फिर अपने प्रश्न पूछकर शुरू करूँगा।

हमारी समस्या यह एक लागत समारोह की उम्मीद मूल्य का आकलन करने पर निर्भर करता जहां एक है एक घनत्व के साथ -dimentional यादृच्छिक चर । $c(\omega)$ $\omega = (\omega_1,\omega_2,...\omega_h)$ $h$ $f(\omega)$

हमारे मामले में, का एक बंद फ़ॉर्म संस्करण $c(\omega)$ मौजूद नहीं है। इसका मतलब है कि हमें अपेक्षित मूल्य को अनुमानित करने के लिए मोंटे कार्लो के तरीकों का उपयोग करना होगा। दुर्भाग्यवश, यह पता चलता है कि MC या QMC विधियों के उपयोग से उत्पन्न का अनुमान $E[c(\omega)]$ व्यावहारिक सेटिंग में उपयोगी होने के लिए बहुत अधिक भिन्नता है।

एक विचार है कि हमें नमूना बिंदुओं को उत्पन्न करने के लिए एक महत्वपूर्ण नमूना वितरण का उपयोग करना था जो कि कम विचरण अनुमान का उत्पादन करेगा $E[c(\omega)]$ । हमारे मामले में, आदर्श महत्व का नमूना वितरण, $g(\omega)$ , लगभग समानुपाती होता है $c(\omega)f(\omega)$ । यह देखकर कि कैसे $g(\omega)$ निरंतर तक जाना जाता है, मैं सोच रहा हूं कि क्या मैं MCMC के साथ-साथ प्रस्ताव वितरण $c(\omega)f(\omega)$ का उपयोग कर सकता हूं, अंततः से नमूने उत्पन्न करने के लिए $g(\omega)$ ।

यहाँ मेरे प्रश्न हैं:

क्या इस सेटिंग के भीतर MCMC का उपयोग किया जा सकता है? यदि हां, तो MCMC विधि क्या उचित होगी? मैं MATLAB में काम कर रहा हूं, इसलिए मुझे ऐसी किसी भी चीज के लिए प्राथमिकता है जो पहले से ही MATLAB कार्यान्वयन है।
क्या ऐसी कोई तकनीक है जिसका उपयोग मैं MCMC के लिए बर्न-इन अवधि को तेज करने के लिए कर सकता हूं। और मैं कैसे बता सकता हूं कि स्थिर वितरण पहुंच गया है? इस स्थिति में, किसी दिए गए लिए गणना करने में वास्तव में थोड़ा समय लगता है । $c(\omega)$ $\omega$

— बर्क यू।
स्रोत

पिछले पैराग्राफ में टाइपो? बजाय ?

C (w)

$C(w)$

c (w)

$c(w)$

— एमपिकेटस

आप नहीं करते है उच्च आयामी अभिन्न के लिए मोंटे कार्लो तरीकों का उपयोग करने के लिए सिर्फ इसलिए कि एक बंद फार्म मौजूद नहीं है। आप विरल ग्रिड के आधार पर विधियों का उपयोग कर सकते हैं । मैं हालांकि पेशेवरों को नहीं जानता और खुद को शांत करता हूं।

— OneStop

@onestop - आप सही हैं विरल ग्रिड मेरे मामले में थोड़ा बेहतर काम करते हैं, हालांकि मैं इस विचार का परीक्षण करना चाहूंगा।

— बर्क यू।

यह थोड़ा वित्त जैसा लगता है।

— वोक

इसे वित्त पर लागू किया जा सकता है। हम इसे बिजली प्रणालियों के इष्टतम प्रबंधन के लिए उपयोग कर रहे हैं, हालांकि :)

— बर्क यू।

जवाबों:

मुझे हमेशा याद रहेगा, कि MCMC केवल एक संख्यात्मक एकीकरण उपकरण है (और उस पर एक अक्षम है)। यह कोई जादू / रहस्यमय बात नहीं है। यह बहुत उपयोगी है क्योंकि इसे लागू करना काफी आसान है। इसे कुछ अन्य संख्यात्मक एकीकरण तकनीकों की तुलना में बहुत अधिक सोच की आवश्यकता नहीं है। उदाहरण के लिए, आपको कोई डेरिवेटिव करने की आवश्यकता नहीं है। आपको केवल "यादृच्छिक संख्या" उत्पन्न करनी होगी।

हालांकि, किसी भी संख्यात्मक एकीकरण विधि की तरह, यह एक सार्वभौमिक कैच ऑल टूल नहीं है। जब यह उपयोगी होता है, और जब यह नहीं होता है तो स्थितियां होती हैं।

यह एक और तकनीक स्थापित करने के लिए समझदार हो सकता है। यह निर्भर करता है कि कितना बड़ा है, और आपका कंप्यूटर कितना तेज है, और परिणाम के लिए इंतजार करने के लिए आप कितना समय तैयार करते हैं। एक समान ग्रिड काम कर सकता है (हालांकि इसके लिए छोटे या लंबे समय तक प्रतीक्षा की आवश्यकता होती है )। "नौकरी" अभिन्न का मूल्यांकन करने के लिए है - समीकरण परवाह नहीं करता है कि आप या मैं परिणाम से क्या मतलब है (और इसलिए यह परवाह नहीं करता है कि क्या हमने परिणाम को यादृच्छिक रूप से प्राप्त किया है या नहीं)। $h$ $h$

इसके अतिरिक्त, यदि आपके अनुमान काफी सटीक हैं, तो तेजी से चरम पर पहुंच जाएगा और एक डेल्टा फ़ंक्शन से निकटता से मिल जाएगा, इसलिए इंटीग्रल प्रभावी रूप से प्रतिस्थापित कर रहा है । $\omega$ $f(\omega)$ $\omega\rightarrow\omega_{max}$

एक और संख्यात्मक एकीकरण तकनीक अभिन्न के तहत टेलर श्रृंखला का उपयोग कर रही है। $f(\omega)\approx f(\omega_{max})+(\omega-\omega_{max})f'(\omega_{max})+\frac{1}{2}(\omega-\omega_{max})^{2}f''(\omega_{max})+\dots$

यह एक उपयोगी रणनीति है जब के क्षण आसानी से प्राप्त होते हैं। $\omega$

एडविन जेनेस ने इस पर एक अच्छा उद्धरण दिया है:

जब भी कुछ करने का एक यादृच्छिक तरीका होता है, तो एक गैर-यादृच्छिक तरीका होता है जो बेहतर परिणाम देता है, लेकिन अधिक सोच की आवश्यकता होती है

एक "अधिक सोच" तरीका अभिन्न करने के लिए "स्तरीकृत MCMC" का उपयोग करना है। इसलिए "बेतरतीब ढंग" के बजाय पूरे पैरामीटर स्पेस पर एक स्पॉट चुनें: इसे "स्ट्रैट" में विभाजित करें। इन "स्ट्रैट" को उठाया जाना चाहिए ताकि आपको इंटीग्रल के उच्च हिस्से की अच्छी रेंज मिल सके। फिर प्रत्येक स्तर के भीतर बेतरतीब ढंग से नमूना। लेकिन इसके लिए आपको अपना कोड लिखना होगा जिसकी मैं कल्पना करूँगा (यानी अधिक सोच)।

— probabilityislogic
स्रोत

अपनी पोस्ट के लिए बहुत बहुत धन्यवाद। मुझे आपका स्तरीकृत एमसी विचार बहुत पसंद है। मैं सोच रहा था कि क्या आप इसके बारे में किसी भी संसाधन के बारे में जानते हैं ताकि मैं इस पर पढ़ सकूं? कार्रवाई में एक उदाहरण के साथ कुछ भी बहुत सराहना की जाएगी।

— बर्क यू।

यह एक विचार है जो मेरे पास है, इसलिए मुझे किसी भी संसाधन का पता नहीं है। इसे MCMC ढांचे में डाला जा सकता है, जिससे एक और परत जुड़ती है जो स्ट्रैटा को परिभाषित करती है। और मेरी मुख्य कमजोरियों में से एक सामान है - मैं दिल से एक विचारक हूं! मुझे पता है कि यह आपकी बहुत मदद नहीं करता है और मैं इसके लिए माफी चाहता हूं। लेकिन निश्चित रूप से मैं अकेला व्यक्ति नहीं हूं जिसने ऐसा सोचा है। जिसने भी "डिजाइन आधारित" आंकड़े और "बायेसियन सांख्यिकी" किया है, उसने निश्चित रूप से इस बारे में सोचा होगा।

— संभाव्यताविषयक

ऐसा कोई संकेत नहीं है कि आपके चर यहाँ सहसंबद्ध हैं इसलिए मुझे नहीं पता कि आप नियमित रूप से मोंटे कार्लो के विपरीत एमसीएमसी का उपयोग क्यों करेंगे। उल्लिखित स्तरीकृत नमूने (लैटिन हाइपरक्यूब) और QMC सहित कई अलग-अलग नमूने विधि हैं। यदि समस्या का आयाम बहुत अधिक नहीं है (10 से अधिक नहीं) तो विरल चतुष्कोणीय विधियां बहुत अच्छी हैं क्योंकि विरल चतुर्भुज ग्रिड ज्यामितीय रूप से बढ़ते हैं (आयामीता का अभिशाप)।

लेकिन ऐसा लगता है कि आप महत्वपूर्ण नमूने के संबंध में सही रास्ते पर हैं। यहां कुंजी एक पक्षपाती वितरण का चयन करना है, जिसमें आपकी संभावना के क्षेत्र के पास बड़ी संभावना केंद्रित है और यह नाममात्र वितरण की तुलना में अधिक मोटा है।

मैं यह जोड़ना चाहता हूं कि यह एक खुली शोध समस्या है, इसलिए यदि आप कुछ अच्छा कर सकते हैं तो यह समुदाय के लिए बहुत हितकारी होगा!

— गैरी
स्रोत

इसके लिए धन्यवाद! क्या आप MCMC की प्रभावशीलता और चरों के बीच संबंध के बीच संबंधों के बारे में थोड़ा और विस्तार कर सकते हैं? मैंने हमेशा सोचा था कि जब चर को सहसंबद्ध किया जाता है तो एमसीएमसी संख्यात्मक एकीकरण तकनीकों को समाप्त करने पर एक लाभ प्रदान करेगा - हालांकि मैं इसके लिए एक अच्छा कारण प्रदान नहीं कर सकता हूं।

— बर्क यू।

चूँकि कोई भी वास्तव में सीधे सवाल का जवाब नहीं देता था: हाँ आप से नमूने के लिए MCMC का उपयोग कर सकते हैं । एमसीएमसी का उपयोग किसी भी वितरण से नमूने के लिए किया जा सकता है जहां वितरण केवल आनुपातिकता के एक निरंतरता तक जाना जाता है। $g(\omega)$

इसके अलावा, आप MC एकीकरण क्षेत्र में विचरण कमी तकनीकों को देखना चाह सकते हैं। संसाधनों का एक बड़ा आत्म निहित स्टैनफोर्ड में आर्ट ओवेन से उपलब्ध मुफ्त पुस्तक अध्याय हैं । विशेष रूप से अध्याय 8, 9, और 10।

वहां आपको अनुकूली नमूने, पुनरावृत्ति, और अन्य तकनीकों के गहन उपचार मिलेंगे।

— JKnight
स्रोत