अज्ञात शोर समारोह को अधिकतम करना

मैं एक फ़ंक्शन को अधिकतम करने में रुचि रखता हूं , जहां । $f(\mathbf \theta)$ $\theta \in \mathbb R^p$

समस्या यह है कि मैं फ़ंक्शन के विश्लेषणात्मक रूप, या इसके व्युत्पत्ति के बारे में नहीं जानता। केवल एक चीज जो मैं कर सकता हूं, वह है फंक्शन पॉइंट-वार का मूल्यांकन करना, एक मान में प्लग करके और उस बिंदु पर प्राप्त करना। अगर मैं चाहता हूं कि मैं इन अनुमानों की परिवर्तनशीलता को कम कर सकता हूं, लेकिन मुझे बढ़ती कम्प्यूटेशनल लागतों का भुगतान करना होगा। $\theta_*$ $\hat{f}(\theta_*)$

यहाँ मैंने अभी तक कोशिश की है:

स्टोकेस्टिक स्टिकेस्ट डिसेंट विद फिनीट डिफरेंसेस: यह काम कर सकता है लेकिन इसके लिए बहुत अधिक ट्यूनिंग की आवश्यकता होती है (पूर्व लाभ अनुक्रम, स्केलिंग कारक) और यह अक्सर बहुत अस्थिर होता है।
नकली annealing: यह काम करता है और यह विश्वसनीय है, लेकिन इसके लिए बहुत सारे फ़ंक्शन मूल्यांकन की आवश्यकता होती है, इसलिए मैंने इसे काफी धीमा पाया।

इसलिए मैं संभावित वैकल्पिक अनुकूलन विधि के बारे में सुझाव / विचार मांग रहा हूं जो इन परिस्थितियों में काम कर सकता है। मैं खदान से अलग अनुसंधान क्षेत्रों के सुझावों को प्रोत्साहित करने के लिए समस्या को यथासंभव सामान्य रख रहा हूं। मुझे यह जोड़ना चाहिए कि मुझे एक ऐसी विधि में बहुत दिलचस्पी होगी जो मुझे अभिसरण पर हेसियन का अनुमान दे सके। इसका कारण यह है कि मैं इसका उपयोग मापदंडों की अनिश्चितता का अनुमान लगाने के लिए कर सकता हूं । अन्यथा मुझे अनुमान प्राप्त करने के लिए अधिकतम चारों ओर परिमित अंतर का उपयोग करना होगा। $\theta$

optimization monte-carlo simulation

— Jugurtha
स्रोत

यदि आप अपने फ़ंक्शन के आउटपुट से जुड़े शोर के बारे में कुछ और अधिक विशिष्ट नहीं कह सकते हैं, तो मुझे यकीन नहीं है कि सिम्युलेटेड एनीलिंग की तुलना में अधिक परिष्कृत कुछ भी होगा (आपको कुछ हद तक यह ट्यून भी करना होगा), मदद से होगा।

— एरॉन अहमदिया

दुर्भाग्य से मैं प्रत्येक फ़ंक्शन मूल्यांकन के साथ जुड़े यादृच्छिक शोर के बारे में ज्यादा नहीं जानता। इसका वितरण अज्ञात है, और यह एक का कार्य हो सकता है । दूसरी ओर शोर जो लगातार कार्य मूल्यांकन को प्रभावित करता है, स्वतंत्र हैं। जाहिर है मैं यह मान रहा हूं कि शोर का विचलन बहुत बड़ा नहीं है, अन्यथा अधिकतमकरण असंभव होगा।

θ

$\theta$

— जुगुरुथा

दूसरी ओर, मान लीजिए कि मैं शोर वितरण के बारे में कुछ जानता हूं, उदाहरण के लिए कि । क्या यह ज्ञान मेरी मदद करेगा?

\hat{f} (θ_{*}) \sim N (f (θ_{*}), σ)

$\hat{f}(\theta_*) \sim N(f(\theta_*),\sigma)$

— जुगुरथा

ऐसा लगता है कि मैं प्रो। न्यूमैयर :) द्वारा सही किया गया हूं

— एरन अहमदिया

भौतिकविदों ने, मैंने ऑप्टिकल चरण को आकार देने के लिए सीएमए-ईएस का उपयोग किया (एक पल्सशेयर के माध्यम से लेजर पल्स के चरण का अनुकूलन), जो काफी शोर है।

— tillsten

जवाबों:

इस उद्देश्य के लिए हमारा मतलाब पैकेज स्नोबफिट ठीक बनाया गया था। शोर के वितरण के बारे में कोई धारणा की आवश्यकता नहीं है। इसके अलावा, फ़ंक्शन मानों को पाठ फ़ाइलों के माध्यम से आपूर्ति की जा सकती है, इस प्रकार आप इसे पाठ फ़ाइल लिखने में सक्षम किसी भी प्रणाली में लागू किए गए कार्यों पर लागू कर सकते हैं। Http://www.mat.univie.ac.at/~neum/software/snobfit/ देखें

SnobFit को एक ऐसे अनुप्रयोग के लिए विकसित किया गया था, जहाँ अनुकूलित किया जाने वाला कार्य भी मौजूद नहीं था, और विशिष्ट (महँगाई गुणवत्ता का एक उपाय) फ़ंक्शन मान विशेष रूप से, महंगे उपकरण नमूना उत्पादों को बनाने और हाथ से मापने के द्वारा प्राप्त किए गए थे, जिसके परिणामस्वरूप लगभग 50 कार्य हुए प्रति दिन मूल्यांकन।

— अर्नोल्ड न्यूमैयर
स्रोत

उत्तर देने के लिए आपका धन्यवाद। मैंने SnobFit पैकेज के संबंध में आपका लेख पढ़ना शुरू कर दिया है, और मुझे यह वास्तव में दिलचस्प लगता है। इसके अलावा, आपके लेख का परिचय पढ़ते हुए, मुझे एहसास हुआ कि जिस समस्या से मैं (एक सांख्यिकीय संदर्भ में) निपट रहा हूं, वह औद्योगिक गणित में बहुत अक्सर है। एक विशाल साहित्य है, जिससे मैं पूरी तरह अनजान था। वास्तव में मैं जिस दृष्टिकोण पर काम कर रहा था, वह पावेल (2002) के द्विघात अनुमान के समान है।

— जुगर्था

क्या स्नोबफिट आजादी के 128 डिग्री के साथ अच्छी तरह से काम करता है? बस यह जानने के लिए कि मेरे मामले के लिए प्रयास करने के लायक है।

— tillsten

@tillsten: शोर समस्या के लिए कोई भी तरीका 128 डॉफ़ के साथ अच्छी तरह से काम नहीं करता है जब तक कि आप बड़ी संख्या में फ़ंक्शन मान नहीं खर्च कर सकते। आप हमारे VXQR1 को आजमा सकते हैं, हालांकि, जो शोर की समस्याओं के लिए नहीं है, लेकिन कभी-कभी शोर की समस्याओं को अच्छी तरह से संभालता है।

— अर्नोल्ड न्यूमैयर

स्नोबफिट की सीमा लगभग 20 चर है। यदि आपके पास अधिक है, तो आपको 20 चर के सामान्य ज्ञान समूहों द्वारा चयन करने की आवश्यकता है जिन्हें आप आंशिक रूप से बदले में अनुकूलित करते हैं। या आप एक साथ कुछ चर स्लाइड कर सकते हैं ताकि आयाम कम हो जाए।

— अर्नोल्ड न्यूमैयर

कई Bayesian अनुकूलन तकनीक हैं जिन्हें आप आज़मा सकते हैं। सबसे सरल गॉसियन प्रक्रिया पर आधारित हैं:

हेरोल्ड जे कुशनर। शोर की उपस्थिति में एक मनमाना मल्टिपल वक्र की अधिकतम पता लगाने की एक नई विधि। बेसिक इंजीनियरिंग की पत्रिका, पृष्ठ 86: 97-106, मार्च 1964।
जे। मॉकस। वैश्विक अनुकूलन के लिए बायेसियन दृष्टिकोण। नियंत्रण और सूचना विज्ञान में व्याख्यान नोट्स, 38: 473-481, 1982।
निरंजन श्रीनिवास, एंड्रियास क्रूस, शाम काकडे और मैथियस सीगर। बैंडिट सेटिंग में गाऊसी प्रक्रिया का अनुकूलन: कोई अफसोस और प्रयोगात्मक डिजाइन नहीं। प्रोक में। मशीन लर्निंग पर अंतर्राष्ट्रीय सम्मेलन (ICML), 2010।
एंड्रियास क्रूस, अजीत सिंह, और कार्लोस गेस्ट्रीन। गौसियन प्रक्रियाओं में निकट-ऑप्टिमल सेंसर प्लेसमेंट: सिद्धांत, कुशल एल्गोरिदम और अनुभवजन्य अध्ययन। जे मच। जानें। रेस।, ९: २३५-२ 23४, जून २०० 23।

वे अब तक प्रशंसनीय कार्यों पर एक पोस्टीरियर ओवर बनाने के द्वारा काम करते हैं, और अगले बिंदु का सुझाव देते हुए जल्दी से फ़ंक्शन सीखने के साथ-साथ वैश्विक मैक्सिमा ( मेरा ब्लॉग पोस्ट देखें ) पाते हैं ।

एक और लाभ यह है कि आप मैक्सिमा पर हेसियन का अनुमान लगा सकते हैं। हालांकि, आपको एक शोर मॉडल निर्दिष्ट करने की आवश्यकता है।

— Memming
स्रोत

जेम्स स्पैल की एसपीएसएसए एल्गोरिथ्म (स्टोचैस्टिक पर्टर्बेशन के लिए संक्षिप्त, एनालाइड एनलिंग, अगर मुझे सही ढंग से याद है) ठीक इसी तरह की समस्या के लिए डिजाइन किया गया है। उसके पास कुछ कागजात हैं, जहां वह इसका वर्णन करता है जैसे कि आप जो भी वर्णन करते हैं।

— वोल्फगैंग बंगर्थ
स्रोत

मैंने स्पैल के दृष्टिकोण की कोशिश की है, जो स्टेपेस्ट डिसेंट और रैपसन न्यूटन के स्टोकेस्टिक संस्करण पर आधारित है। मैंने नकली एनीलिंग की कोशिश की, लेकिन स्पॉल द्वारा सुझाए गए संस्करण की नहीं, मुझे इसकी कोशिश करनी चाहिए। मैं वास्तव में सिम्युलेटेड एनेलिंग के बारे में उत्साहित नहीं हूं, क्योंकि मुझे अभिसरण पर हेसियन का अनुमान नहीं मिल सकता है (जबकि, उदाहरण के लिए, स्टोकेस्टिक रेप्सन न्यूटन के साथ मैं हेसियन के लिए एक सन्निकटन प्राप्त कर सकता हूं "मुफ्त में")।

— जुगुरथा