59

लागत कार्यों में स्थानीय मिनिमा खोजने के लिए धीरे-धीरे वंश और कई अन्य विधियां उपयोगी हैं। वे तब कुशल हो सकते हैं जब प्रत्येक बिंदु पर लागत फ़ंक्शन का त्वरित रूप से मूल्यांकन किया जा सकता है, चाहे संख्यात्मक रूप से या विश्लेषणात्मक रूप से।

मेरे पास वह है जो मुझे एक असामान्य स्थिति प्रतीत होती है। मेरी लागत समारोह का प्रत्येक मूल्यांकन महंगा है। मैं ऐसे मापदंडों का एक समूह खोजने का प्रयास कर रहा हूं, जो जमीनी सच्चाई की सतहों के खिलाफ 3 डी सतह को कम करते हैं। जब भी मैं एक पैरामीटर बदलता हूं, तो मुझे इसके प्रभाव को मापने के लिए पूरे नमूना कोहर्ट के खिलाफ एल्गोरिथ्म को चलाने की आवश्यकता होती है। एक ग्रेडिएंट की गणना करने के लिए, मुझे सभी 15 मापदंडों को स्वतंत्र रूप से बदलने की आवश्यकता है, जिसका अर्थ है कि मुझे सभी सतहों को फिर से बनाना होगा और प्रति नमूना प्रति कई बार नमूना कोहर्ट तरह से तुलना करना होगा, और निश्चित रूप से अनुकूलन के पाठ्यक्रम पर भी कई बार रास्ता तय करना होगा।

मैंने इस समस्या को दरकिनार करने के लिए एक विधि विकसित की है और वर्तमान में इसका मूल्यांकन कर रहा हूं, लेकिन मुझे आश्चर्य है कि मुझे महंगी लागत फ़ंक्शन मूल्यांकन के बारे में साहित्य में बहुत कुछ नहीं मिला है। यह मुझे आश्चर्यचकित करता है अगर मैं समस्या को इससे कठिन बना रहा हूं और यह कि पहले से उपलब्ध बेहतर तरीका हो सकता है।

इसलिए मेरे सवाल मूल रूप से यह हैं: क्या किसी को लागत कार्यों के अनुकूलन के तरीकों के बारे में पता है, जब मूल्यांकन धीमा है, तो उत्तल या नहीं? या, क्या मैं एल्गोरिथ्म को पुन: निर्देशित करके पहली बार कुछ मूर्खतापूर्ण काम कर रहा हूं और कई बार सैंपल कॉहोर्ट के खिलाफ तुलना कर रहा हूं?

gradient-descent optimization bayesian-optimization

— जारेड बेकसफोर्ट
स्रोत

5

क्या आपने स्टोकेस्टिक ग्रेडिएंट वंश के बारे में सुना है? बड़े प्रशिक्षण सेटों पर लागू किए गए गहरे तंत्रिका नेटवर्क के लिए आपके पास एक समान मुद्दा है (लेकिन एवल ग्रेडिएंट विश्लेषणात्मक रूप से) और मानक समाधान केवल एकल नमूना (स्टोचैस्टिक) बनाम पूरे

— कॉहोर्ट

3

मैं केवल क्षेत्र से परिचित हूं, इसलिए यह उत्तर के बजाय एक टिप्पणी है। लेकिन आप जिस विषय पर चर्चा कर रहे हैं , वह बहुत हद तक अनिश्चितता के विषय की तरह लगता है , जिसका सामना अक्सर इंजीनियरों को करना पड़ता है, जहां लक्ष्य फ़ंक्शन के एक एकल मूल्यांकन में मूल्यांकन करने के लिए सप्ताह लगते हैं (कम से कम मेरी इंजीनियरिंग सहकर्मियों द्वारा सामना की गई समस्याओं में)। यह कैसे संभाला जाता है इसकी मेरी बहुत सीमित समझ है कि पिछले मूल्यांकन और सरल इंजीनियरिंग मॉडल के आधार पर मूल्यांकन करना बहुत आसान है और फिर अगले मूल्यांकन को चुनने के लिए इन सरोगेट मॉडल का उपयोग करें ...

— क्लिफ एबी

2

... अधिक महंगी लक्ष्य समारोह। मुझे यह कहने से नफरत है, लेकिन मैं फिलहाल इस विषय के बारे में नहीं जानता; मुझे केवल इंजीनियरों के साथ अनुसंधान विषयों पर चर्चा करते समय इसके बारे में संक्षेप में बताया गया है। दिलचस्प बात यह है कि यह एक बहुत ही चुनौतीपूर्ण शोध क्षेत्र की तरह लगता है: मेरा मानना है कि अच्छे मॉडल को भौतिकी और सांख्यिकी दोनों की अच्छी समझ की आवश्यकता होती है ।

— क्लिफ एबी

1

@ seanv507 हां, धन्यवाद, लेकिन मैंने इसे इसी तरह से टाला। एक नमूना को चलाने में लगभग 30 सेकंड से एक मिनट तक का समय लगता है। यदि मेरे पास 15 पैरामीटर हैं, तो मैं लगभग 8 मिनट प्रति ढाल गणना देख रहा हूं, भले ही मैं केवल एक नमूना का उपयोग करता हूं। यदि स्थान बड़ा है, तो इसमें बहुत लंबा समय लग सकता है। कृपया मुझे सही करें अगर आपके मन में अन्य विचार थे।

— जारेड बेकसफोर्ट

5

"मुझे एक असामान्य स्थिति प्रतीत होती है। मेरी लागत फ़ंक्शन का प्रत्येक मूल्यांकन महंगा है।" यह बिल्कुल भी असामान्य स्थिति में नहीं है। यह सभी जगह दिखाई देता है, उदाहरण के लिए जब कभी भी आपका लागत फ़ंक्शन एक सिमुलेशन चलाने से आता है (जैसे इस पेपर में: white.ucc.asn.au/publications/White2015PsoTransistorSizing.pdf हम SPICE में एक सर्किट को ले जाते हैं 10s ले रहे हैं)। अधिक बोर्डी, प्रायोगिक विज्ञान में, मूल्यांकन में उम्र लग सकती है। मेरे दोस्तों में से एक मास्टर्स प्रोजेक्ट मूल रूप से डीएनए डालने का सबसे अच्छा तरीका खोजने के लिए 5 मापदंडों का अनुकूलन कर रहा है। प्रत्येक मूल्यांकन में 24 घंटे लगते हैं।

— लिंडन व्हाइट

59

टी एल; डॉ

मैं LIPO का उपयोग करने की सलाह देता हूं। यह शुद्ध यादृच्छिक खोज (PRS) की तुलना में काफी सही और काफी बेहतर है। यह लागू करने के लिए भी बेहद सरल है, और इसमें कोई हाइपरपरमेटर्स नहीं है। मैंने एक विश्लेषण नहीं किया है जो LIPO की तुलना BO से करता है, लेकिन मेरी अपेक्षा यह है कि LIPO की सादगी और दक्षता का अर्थ है कि यह BO का प्रदर्शन करेगा।

(यह भी देखें: बायेसियन हाइपर पैरामीटर ऑप्टिमाइज़ेशन के कुछ नुकसान क्या हैं? )

बायेसियन ऑप्टिमाइज़ेशन

बायेसियन ऑप्टिमाइज़ेशन-प्रकार के तरीके पैरामीटर स्पेस का पता लगाने के लिए गॉसियन प्रक्रिया सरोगेट मॉडल का निर्माण करते हैं। मुख्य विचार यह है कि पैरामीटर ट्यूपल्स जो एक साथ करीब हैं, उनमें समान फ़ंक्शन मान होंगे, इसलिए अंक के बीच एक सह-विचरण संरचना की धारणा एल्गोरिदम को शिक्षित अनुमान लगाने की अनुमति देता है कि सबसे अच्छा पैरामीटर टपल आगे क्या करने के लिए सबसे अधिक सार्थक है। यह रणनीति फ़ंक्शन मूल्यांकन की संख्या को कम करने में मदद करती है; वास्तव में, बीओ विधियों की प्रेरणा "मूल्यांकन पूरी भैंस का उपयोग करते समय" जितना संभव हो उतना कम रखने के लिए है, जिससे कि अगले बिंदु का परीक्षण करने के बारे में अच्छे अनुमान लगा सकें। योग्यता के अलग-अलग आंकड़े हैं (अपेक्षित सुधार, अपेक्षित मात्रात्मक सुधार, सुधार की संभावना ...) जो कि अगली यात्रा के लिए बिंदुओं की तुलना करने के लिए उपयोग किए जाते हैं।

इसे एक ग्रिड खोज की तरह कुछ के विपरीत करें, जो अपने पिछले फ़ंक्शन मूल्यांकन से किसी भी जानकारी का उपयोग करने के लिए यह सूचित नहीं करेगा कि आगे कहां जाना है।

संयोग से, यह भी एक शक्तिशाली वैश्विक अनुकूलन तकनीक है, और इस तरह सतह की उत्तलता के बारे में कोई धारणा नहीं है। इसके अतिरिक्त, यदि फ़ंक्शन स्टोचैस्टिक है (कहते हैं, मूल्यांकन में कुछ अंतर्निहित यादृच्छिक शोर हैं), तो यह सीधे जीपी मॉडल के लिए जिम्मेदार हो सकता है।

दूसरी ओर, आपको प्रत्येक पुनरावृत्ति (या कई, कम से कम एक जीपी "फिट करना होगा," सबसे अच्छा ", या विकल्पों पर औसत, या पूरी तरह से बायेसियन विधियों को चुनना)। फिर, मॉडल का उपयोग भविष्यवाणियों के (शायद हजारों) करने के लिए किया जाता है, आमतौर पर मल्टीस्टार्ट स्थानीय अनुकूलन के रूप में, अवलोकन के साथ कि यह अनुकूलन के तहत फ़ंक्शन की तुलना में जीपी भविष्यवाणी फ़ंक्शन का मूल्यांकन करने के लिए बहुत सस्ता है। लेकिन यहां तक कि इस कम्प्यूटेशनल ओवरहेड के साथ, यह मामला है कि यहां तक कि nonconvex फ़ंक्शन अपेक्षाकृत कम संख्या में फ़ंक्शन कॉल के साथ अनुकूलित किया जा सकता है।

इस विषय पर एक व्यापक रूप से उद्धृत पेपर जोन्स एट अल है , "महंगी ब्लैक-बॉक्स कार्यों के कुशल वैश्विक अनुकूलन।" लेकिन इस विचार पर कई विविधताएं हैं।

यादृच्छिक खोज

यहां तक कि जब लागत फ़ंक्शन का मूल्यांकन करना महंगा होता है, तब भी यादृच्छिक खोज उपयोगी हो सकती है। यादृच्छिक खोज गंदगी-सरल है जिसे लागू करना आसान है। एक शोधकर्ता के लिए एकमात्र विकल्प संभावना सेट कर रहा है जो आप चाहते हैं कि आपके परिणाम कुछ मात्रात्मक में झूठ हों ; बाकी मूल संभावना से परिणाम का उपयोग करके स्वचालित रूप से आगे बढ़ता है। $p$ $q$

मान लीजिए कि आपका परिमाण और आप एक संभावना चाहते हैं कि मॉडल के परिणाम शीर्ष सभी हाइपरपरेटर टुपल्स के प्रतिशत हों। संभावना है कि सभी प्रयास किए गए tuples उस विंडो में नहीं हैं (क्योंकि वे समान वितरण से यादृच्छिक रूप से चुने गए हैं), इसलिए संभावना है कि उस क्षेत्र में कम से कम एक tuple $q = 0.95$ $p=0.95$ $100\times (1-q)=5$ $n$ $q^n = 0.95^n$ $1 - 0.95^n$ । यह सब एक साथ रखकर, हमारे पास है

1 - {क्ष}^{n} \geq पी ⟹ n \geq \frac{लॉग इन करें (1 - पी)}{लॉग इन करें (क्ष)}

$1 - q^n \ge p \implies n \ge \frac{\log(1 - p)}{\log(q)}$

जो हमारे विशिष्ट मामले में पैदावार । $n \ge 59$

$n=60$ $n=60$

चूंकि आपके पास इस बात की एक संभावित गारंटी है कि परिणाम कितने अच्छे हैं, इसलिए यह आपके बॉस को समझाने के लिए एक प्रेरक उपकरण हो सकता है कि अधिक प्रयोग चलाना आवश्यक नहीं है।

LIPO और इसके वेरिएंट

यह एक रोमांचक आगमन है, जो यदि नया नहीं है , तो निश्चित रूप से मेरे लिए नया है। यह फ़ंक्शन पर सूचित सीमा रखने, और सर्वोत्तम बाउंड से नमूना लेने, और द्विघात अनुमान का उपयोग करने के बीच वैकल्पिक रूप से आगे बढ़ता है। मैं अभी भी सभी विवरणों के माध्यम से काम कर रहा हूं, लेकिन मुझे लगता है कि यह बहुत आशाजनक है। यह एक अच्छा ब्लॉग लेखन है , और पेपर है सेड्रिक मैलेर्बे और निकोलस वायटिस "लिप्सचित्ज़ कार्यों का वैश्विक अनुकूलन ।"

— मोनिका को बहाल करो
स्रोत

1

यह प्रतिक्रिया सतह के तरीकों का एक आधुनिक संस्करण जैसा लगता है!

— kjetil b halvorsen

1

: असल में, यादृच्छिक खोज उल्लेखनीय अच्छी तरह से काम कर सकते हैं argmin.net/2016/06/20/hypertuning

— टिम

1

@ टिम हां, आपकी बात को अच्छी तरह से लिया गया है। मैं इस मुद्दे का "निर्णय" नहीं करना चाहता था, जो इस पद में बेहतर है, क्योंकि बीओ पर अनिवार्य रूप से अंतहीन क्रमपरिवर्तन हैं, प्रत्येक का दावा है कि "सर्वश्रेष्ठ" ब्लैक-बॉक्स ऑप्टिमाइज़र है - जिससे निश्चित होना असंभव है। मैं मानता हूं कि यादृच्छिक खोज काफी अच्छी तरह से काम कर सकती है, लेकिन मैं वास्तव में पीआरएस पर LIPO की सिफारिश करूंगा। मेरे सभी प्रयोगों में LIPO सही रूप से सही और दृढ़ता से PRS (औसतन) रहा है। LIPO की न्यूनतम अनुमान लागत भी है: यदि आप एक QP को कम कर सकते हैं, तो आप LIPO का उपयोग कर सकते हैं, और LIPO में शून्य हाइपरपैरामीटर (BO के विपरीत) है।

— मोनिका

मुझे खुशी है कि मैंने इस सवाल को फिर से जांचा। LIPO बहुत अच्छा लगता है।

— जारेड बेकसफोर्ट

LIPO महान है। जब मेरे पास एक पल होगा तो मैं LIPO का बेहतर लेखा देने के लिए अपने उत्तर का विस्तार करूंगा।

— मोनिका

40

$f(x)$ $x$

मैं कहूंगा कि (बहुत) महंगे ब्लैक-बॉक्स फ़ंक्शन के मूल्यांकन के लिए वर्तमान सोने का मानक (वैश्विक) बायेसियन ऑप्टिमाइज़ेशन (बीओ) है। साइकोरैक्स ने पहले से ही बीओ की कुछ विशेषताओं का वर्णन किया है, इसलिए मैं केवल कुछ जानकारी जोड़ रहा हूं जो उपयोगी हो सकती हैं।

शुरुआती बिंदु के रूप में, आप इस अवलोकन पेपर 1 को पढ़ना चाह सकते हैं । वहाँ भी एक और अधिक है हाल ही में एक [2]।

बाइसेपियन अनुकूलन हाल के वर्षों में एक क्षेत्र के रूप में तेजी से बढ़ रहा है, समर्पित कार्यशालाओं की एक श्रृंखला के साथ (जैसे, बायसेप्ट , और बीओ पर शेफ़ील्ड कार्यशाला से इन वीडियो की जांच करें ), क्योंकि इसमें मशीन सीखने में बहुत व्यावहारिक अनुप्रयोग हैं, जैसे कि एमएल एल्गोरिदम के हाइपर-मापदंडों के अनुकूलन के लिए - उदाहरण के लिए यह पेपर [3] और संबंधित टूलबॉक्स, स्पीयरमिंट देखें । विभिन्न भाषाओं में कई अन्य पैकेज हैं जो विभिन्न प्रकार के बायेसियन अनुकूलन एल्गोरिदम को लागू करते हैं।

जैसा कि मैंने उल्लेख किया है, अंतर्निहित आवश्यकता यह है कि प्रत्येक फ़ंक्शन मूल्यांकन बहुत महंगा है, ताकि बीओ से संबंधित संगणना एक नगण्य माथे को जोड़ दें। बॉलपार्क देने के लिए, बीओ निश्चित रूप से सहायक हो सकता है यदि आपका फ़ंक्शन मिनटों या उससे अधिक के क्रम में मूल्यांकन करता है। आप इसे त्वरित संगणना (उदाहरण के लिए सेकंड के दसियों) के लिए भी लागू कर सकते हैं, लेकिन इस बात पर निर्भर करता है कि आप किस एल्गोरिथ्म का उपयोग करते हैं, आपको अलग-अलग अनुमानों को अपनाना पड़ सकता है। यदि आपका कार्य सेकंड के समय स्केल में मूल्यांकन करता है , तो मुझे लगता है कि आप वर्तमान अनुसंधान की सीमाओं को मार रहे हैं और शायद अन्य विधियां अधिक उपयोगी हो सकती हैं। इसके अलावा, मुझे यह कहना होगा कि बीओ शायद ही कभी ब्लैक-बॉक्स है और आपको अक्सर एक विशिष्ट वास्तविक दुनिया की समस्या के साथ पूरी क्षमता से काम करने के लिए एल्गोरिदम को मोड़ना होगा, कभी-कभी बहुत कुछ ।

एक तरफ बीओ, सामान्य व्युत्पन्न-मुक्त अनुकूलन विधियों की समीक्षा के लिए आप इस समीक्षा को देख सकते हैं [4] और एल्गोरिदम की जांच करें जिसमें त्वरित अभिसरण के अच्छे गुण हैं। उदाहरण के लिए, मल्टी-लेवल कोऑर्डिनेट सर्च (MCS) आमतौर पर एक न्यूनतम (हमेशा वैश्विक न्यूनतम नहीं, निश्चित रूप से) के पड़ोस में बहुत जल्दी परिवर्तित होता है। एमसीएस को वैश्विक अनुकूलन के लिए सोचा जाता है, लेकिन आप इसे उचित बाध्य बाधाओं को निर्धारित करके स्थानीय बना सकते हैं।

अंत में, आप बीओ में उन लक्षित कार्यों के लिए रुचि रखते हैं जो महंगे और शोर दोनों हैं , इस प्रश्न का मेरा उत्तर देखें ।

संदर्भ:

1 ब्रोचू एट अल।, "एक्टिव यूजर मॉडलिंग और पदानुक्रमित सुदृढीकरण सीखने के लिए आवेदन के साथ महंगी लागत कार्यों के बायोसियन अनुकूलन पर एक ट्यूटोरियल" (2010)।

[२] शाहरारी एट अल।, "टेकिंग द ह्यूमन आउट ऑफ़ द लूप: ए रिव्यू ऑफ़ बायेसियन ऑप्टिमाइज़ेशन" (२०१५)।

[३] स्नोक एट अल।, "मशीन लर्निंग एल्गोरिदम का व्यावहारिक बायेसियन अनुकूलन", एनआईपीएस (२०१२)।

[४] Rios और साहिनिडिस, "व्युत्पन्न-मुक्त अनुकूलन: एल्गोरिदम की समीक्षा और सॉफ्टवेयर कार्यान्वयन की तुलना", जर्नल ऑफ़ ग्लोबल ऑप्टिमाइज़ेशन (२०१३)।

— lacerbi
स्रोत

4

+1 यह एक बेहतरीन जवाब है। विशेष रूप से, ये कागज इस धागे के लिए एक महान जोड़ हैं; वास्तव में, मुझे नहीं पता था कि मैंने जिस सामान्य तरीके का वर्णन किया है उसे बेयसियन ऑप्टिमाइज़ेशन कहा जाता है। लेकिन मुझे चिंता है कि लिंक समय के साथ खराब हो सकते हैं। क्या आप अधिक संपूर्ण उद्धरण जानकारी जोड़ना चाहेंगे, ताकि भविष्य के उपयोगकर्ता इन कागजात तक पहुंच सकें?

— मोनिका

बायेसियन ऑप्टिमाइज़ेशन पेपर काफी मददगार हैं। जवाब देने के लिए शुक्रिया।

— जारेड बेकसफोर्ट

1

@ user777: अच्छी बात है। अंत में एक स्पष्ट संदर्भ सूची जोड़ी गई जो कागजात को पुनर्प्राप्त करने के लिए पर्याप्त होनी चाहिए।

— लकरबी

6

मुझे स्वयं एल्गोरिदम का पता नहीं है, लेकिन मेरा मानना है कि आप जिस प्रकार के ऑप्टिमाइज़ेशन एल्गोरिदम की तलाश कर रहे हैं, वह व्युत्पन्न-मुक्त अनुकूलन है , जिसका उपयोग तब किया जाता है जब उद्देश्य महंगा हो या शोर हो ।

उदाहरण के लिए, इस पेपर (Björkman, M. & Holmström, K. "रेडियल बेसिस फ़ंक्शंस का उपयोग करते हुए कॉस्ट नॉनकॉनवेक्स फ़ंक्शंस का वैश्विक अनुकूलन। ऑप्टिमाइज़ेशन एंड इंजीनियरिंग (2000) 1: 373. doi: 10.1023 / A: 1011584207202) पर एक नज़र डालें। जिसका सार यह इंगित करता है कि वास्तव में आप क्या चाहते हैं:

कागज महंगा उद्देश्य कार्यों के वैश्विक अनुकूलन पर विचार करता है, यानी कई स्थानीय मिनीमा होने पर वैश्विक न्यूनतम खोजने की समस्या और प्रत्येक फ़ंक्शन मान को गणना करने के लिए काफी सीपीयू समय लगता है। ऐसी समस्याएं अक्सर औद्योगिक और वित्तीय अनुप्रयोगों में उत्पन्न होती हैं, जहां एक फ़ंक्शन मूल्य एक समय लेने वाली कंप्यूटर सिमुलेशन या अनुकूलन का परिणाम हो सकता है। व्युत्पन्न अक्सर प्राप्त करना कठिन होते हैं, और प्रस्तुत एल्गोरिदम ऐसी जानकारी का कोई उपयोग नहीं करते हैं।

— mehrdad
स्रोत

2

लिंक किए गए कागजात और अन्य संसाधनों के लिए कृपया पूर्ण उद्धरण जानकारी शामिल करें। हम सूचनाओं का एक टिकाऊ भंडार बनाना चाहते हैं, और लिंक समय के साथ खराब होते चले जाते हैं।

— मोनिका

Björkman, M. & Holmström, K. "रेडियल बेसिस फ़ंक्शंस का उपयोग करके कॉस्ट नॉनकॉनवेक्स फ़ंक्शंस का वैश्विक अनुकूलन।" अनुकूलन और इंजीनियरिंग (2000) 1: 373. डोई: 10.1023 / ए: 1011584207202

— jkdev

4

तुम अकेले नही हो।

महंगी-से-मूल्यांकन प्रणाली इंजीनियरिंग में बहुत आम हैं, जैसे कि परिमित तत्व विधि (एफईएम) मॉडल और कम्प्यूटेशनल तरल गतिकी (सीएफडी) मॉडल। इन कम्प्यूटेशनल महंगे मॉडलों का अनुकूलन बहुत आवश्यक है और चुनौती है क्योंकि ईवोल्यूशनरी एल्गोरिदम को अक्सर समस्या के मूल्यांकन के दसियों हज़ार की आवश्यकता होती है जो महंगी-से-मूल्यांकन समस्याओं का विकल्प नहीं है। सौभाग्य से, इस समस्या को हल करने के लिए बहुत सारे तरीके (एल्गोरिदम) उपलब्ध हैं। जहां तक मुझे पता है, उनमें से ज्यादातर सरोगेट मॉडल (मेटामॉडल्स) पर आधारित हैं। कुछ नीचे सूचीबद्ध हैं।

कुशल वैश्विक अनुकूलन (ईजीओ) [1]। ईजीओ एल्गोरिथ्म ऊपर उल्लेख किया गया है और सबसे प्रसिद्ध सरोगेट-आधारित अनुकूलन एल्गोरिथ्म हो सकता है। यह क्रिंगिंग मॉडल और एक इन्फिल्ड मानदंड पर आधारित है जिसे अपेक्षित सुधार फ़ंक्शन (ईआई) कहा जाता है। ईजीओ एल्गोरिथ्म सहित आर संकुल डाइसओप्टिम और डाइसकिगिंग हैं।
मोड-पीछा नमूना (MPS) विधि [2]। MPS एल्गोरिथ्म RBF मॉडल पर बनाया गया है और उम्मीदवार अंकों को लेने के लिए एक विशेषण नमूनाकरण रणनीति का उपयोग किया जाता है। MATLAB कोड http://www.sfu.ca/~gwa5/software.html पर लेखकों द्वारा प्रसिद्ध है । MPS एल्गोरिदम को इष्टतम प्राप्त करने के लिए अधिक मूल्यांकन की आवश्यकता हो सकती है, लेकिन मेरे व्यक्तिगत अनुभव से EGO एल्गोरिदम की तुलना में अधिक जटिल जांच को संभाल सकता है।
जूलियन मुलर [3] द्वारा सरोगेट मॉडल को इकट्ठा करना। उसने खोज क्षमता बढ़ाने के लिए कई सरोगेट्स का इस्तेमाल किया। MATLAB टूलबॉक्स MATSuMoTo https://github.com/Piiloblondie/MATSuMoTo में उपलब्ध है ।

गर्मियों में, ये सरोगेट-आधारित अनुकूलन एल्गोरिदम संभवतया कुछ मूल्यांकन के रूप में समस्या का वैश्विक इष्टतम खोजने की कोशिश करते हैं। यह सरोगेट (सरोगेट्स) प्रदान करने वाले informations का पूरा उपयोग करके प्राप्त किया जाता है। कम्प्यूटेशनल रूप से महंगी समस्याओं के अनुकूलन पर समीक्षाएं [4-6] में हैं।

संदर्भ:

डॉ जोन्स, एम। श्लानलाउ और डब्ल्यूजे वेल्च, "महंगी ब्लैक-बॉक्स फ़ंक्शन के कुशल वैश्विक अनुकूलन," जर्नल ऑफ़ ग्लोबल ऑप्टिमाइज़ेशन, वॉल्यूम। 13, पीपी। 455-492, 1998।
एल। वैंग, एस। शान और जीजी वांग, "महंगी ब्लैक-बॉक्स फ़ंक्शंस पर वैश्विक अनुकूलन के लिए मोड-पीछा नमूना विधि," इंजीनियरिंग ऑप्टिमाइज़ेशन, वॉल्यूम। 36, पीपी। 419-438, 2004।
जे। मुलर, "सरोगेट मॉडल एल्गोरिदम फॉर कम्प्यूटेशनलली एक्सपेंसिव ब्लैक-बॉक्स ग्लोबल ऑप्टिमाइज़ेशन प्रॉब्लम्स," टैम्पियर यूनिवर्सिटी ऑफ़ टेक्नोलॉजी, 2012।
जीजी वांग और एस। शान, "इंजीनियरिंग डिजाइन अनुकूलन के समर्थन में मेटामॉडलिंग तकनीकों की समीक्षा," मैकेनिकल डिज़ाइन के जर्नल, वॉल्यूम। 129, पीपी। 370-380, 2007।
एआई फॉरेस्टर और एजे कीन, "सरोगेट-आधारित अनुकूलन में हालिया प्रगति," एयरोस्पेस विज्ञान में प्रगति, वॉल्यूम। 45, पीपी। 50-79, 2009।
FAC Viana, TW Simpson, V. Balabanov, और V. Toropov, "Metidodeling in Multidisciplinary Design Optimization: How Far Have We really Come ?," AIAA जर्नल, वॉल्यूम। 52, पीपी। 670-690, 2014/04/01 2014।

— ज़हन दाविए
स्रोत

3

अतीत में मैंने जिन दो सरल रणनीतियों का सफलतापूर्वक उपयोग किया है वे हैं:

यदि संभव हो तो, एक सरल सरोगेट फ़ंक्शन को खोजने की कोशिश करें जो आपके पूर्ण लागत फ़ंक्शन मूल्यांकन को अनुमानित करता है - एक सिमुलेशन की जगह एक विश्लेषणात्मक मॉडल। इस सरल कार्य का अनुकूलन करें। फिर अपने सटीक लागत फ़ंक्शन के परिणामस्वरूप समाधान को मान्य और ठीक करें।
यदि संभव हो तो, एक सटीक "डेल्टा-कॉस्ट" फ़ंक्शन का मूल्यांकन करने का एक तरीका खोजने की कोशिश करें - सटीक रूप से ढाल का उपयोग करने से एक सन्निकटन होने का विरोध किया। यही है, एक प्रारंभिक 15-आयामी बिंदु से जिसके लिए आपने पूरी लागत का मूल्यांकन किया है, यह पता लगाने का एक तरीका खोजें कि आपके वर्तमान बिंदु के 15 घटकों में से एक (या कई) में एक छोटा परिवर्तन करके लागत कैसे बदल जाएगी। आपको किसी छोटे गड़बड़ी के स्थानीयकरण गुणों का दोहन करने की आवश्यकता होगी यदि आपके किसी विशेष मामले में और आपको रास्ते में एक आंतरिक स्थिति चर को परिभाषित करने, कैश करने और अपडेट करने की आवश्यकता होगी ।

वे रणनीतियाँ बहुत ही विशिष्ट हैं, मुझे नहीं पता कि वे आपके मामले में लागू हो सकते हैं या नहीं, यदि वे नहीं हैं तो क्षमा करें। दोनों लागू हो सकते हैं (जैसा कि यह मेरे उपयोग के मामलों में था): "डेल्टा-कॉस्ट" रणनीति को एक सरल विश्लेषणात्मक मॉडल पर लागू करें - परिमाण के कई आदेशों से प्रदर्शन में सुधार हो सकता है।

एक अन्य रणनीति दूसरी ऑर्डर विधि का उपयोग करना होगा जो आम तौर पर पुनरावृत्तियों की संख्या को कम करने के लिए जाती है (लेकिन प्रत्येक पुनरावृत्ति अधिक जटिल होती है) - जैसे, लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म । लेकिन आपको लगता है कि सीधे और कुशलता से मूल्यांकन करने के लिए एक रास्ता नहीं है, यह शायद इस मामले में एक व्यवहार्य विकल्प नहीं है।

— पैट्रिक
स्रोत

3

जैसा कि अन्य लोगों ने उल्लेख किया है, एक सरोगेट मॉडल (जिसे प्रतिक्रिया सतह भी कहा जाता है) एक शक्तिशाली दृष्टिकोण है। मेरी राय में, एक महत्वपूर्ण बात यह है कि लोग भूल जाते हैं कि आप मल्टीकोर सीपीयू का उपयोग करते हुए समानांतर में कई फ़ंक्शन मूल्यांकन कर सकते हैं ।

मैं इस कोड को देखने का सुझाव देता हूं , यह सरल प्रतिक्रिया मॉडल का उपयोग करता है, लेकिन मल्टीकोर सीपीयू पर तराजू होता है, जो उपयोग किए गए कोर की मात्रा के बराबर स्पीडअप देता है। इस पेपर में विधि के पीछे एक गणित का वर्णन किया गया है ।

— पॉल
स्रोत

मुझे लगता है कि आप कागज पर पहले लेखक हैं - आपको शायद यह उल्लेख करना चाहिए कि यदि यह मामला है। पेपर में अत्याधुनिक तरीकों जैसे बेसेसियन ऑप्टिमाइज़ेशन या अन्य सरोगेट तरीकों की तुलना में कमी है (वास्तव में, यह कोई भी बेंचमार्क प्रदान नहीं करता है)। क्या आप शायद कुछ और बता सकते हैं?

— लैकरबी

मैं यह नहीं कह रहा हूं कि वहां इस्तेमाल किया जाने वाला मॉडल बेहतर है। मैं सिर्फ इतना कह रहा हूं कि लोग मॉडल की गुणवत्ता के बारे में बहुत चिंतित हैं और कभी-कभी समानता के बारे में भूल जाते हैं, जो कि कई कोर के शामिल होने पर एक बड़ी बात हो सकती है ..

— पॉल

लिंक किए गए कागजात और अन्य संसाधनों के लिए कृपया पूर्ण उद्धरण जानकारी शामिल करें। हम सूचनाओं का एक टिकाऊ भंडार बनाना चाहते हैं, और लिंक समय के साथ खराब होते चले जाते हैं।

— मोनिका

2

मुझे यकीन नहीं है कि समुदाय द्वारा शब्दावली कितनी भिन्न होती है, लेकिन मैं आमतौर पर प्रतिक्रिया की सतह को "बहुपद सरोगेट मॉडल" (आमतौर पर एक द्विघात) के पर्याय के रूप में इस्तेमाल करता हूं । इसलिए मैं प्रतिक्रिया-सतह मॉडलिंग के सुपरसेट के रूप में सरोगेट मॉडलिंग के बारे में सोचता हूं। (हालांकि, यह गलत हो सकता है।)

— जियोमैट 22

0

स्टोचैस्टिक ग्रेडिएंट डिसेंट में कई ट्रिक्स का इस्तेमाल किया जाता है, जिसे ऑब्जेक्टिव फंक्शन मूल्यांकन पर भी लागू किया जा सकता है। समग्र विचार डेटा के सबसेट का उपयोग करके उद्देश्य फ़ंक्शन को अनुमानित करने की कोशिश कर रहा है ।

इन दो पोस्टों में मेरे जवाब इस बात पर चर्चा करते हैं कि स्टोकेस्टिक ग्रेडिएंट डिसेंट काम क्यों करता है: इसके पीछे अंतर्ज्ञान डेटा के सबसेट का उपयोग करके ग्रेडिएंट को अनुमानित करना है।

स्टोकेस्टिक ग्रेडिएंट डिसेंट्रेंट मानक ढाल डिसेंट की तुलना में समय कैसे बचा सकता है?

बड़े डेटा सेटिंग के लिए समानांतर / वितरित तरीके से रैखिक प्रतिगमन को कैसे चलाया जाए?

यही चाल उद्देश्य समारोह पर लागू होती है।

$\|Ax-b\|^2$ $A$ $A$ $b$

— हतौ दू
स्रोत

मूल्यांकन करने के लिए लागत समारोह धीमा होने पर अनुकूलन

टी एल; डॉ

बायेसियन ऑप्टिमाइज़ेशन

यादृच्छिक खोज

LIPO और इसके वेरिएंट