क्या बहुआयामी अंतरिक्ष में किसी फ़ंक्शन के पूर्ण न्यूनतम (अधिकतम) की खोज के लिए कोई ढाल मूल आधारित तकनीक है?

Question

मैं धीरे-धीरे वंश एल्गोरिथ्म से परिचित हूं जो किसी दिए गए फ़ंक्शन का स्थानीय न्यूनतम (अधिकतम) पा सकता है।

क्या ग्रेडिएंट डिसेंट का कोई संशोधन है जो पूर्ण न्यूनतम (अधिकतम) खोजने की अनुमति देता है, जहां फ़ंक्शन में कई स्थानीय एक्स्ट्रेमा हैं?

क्या कोई सामान्य तकनीक है, कैसे एक एल्गोरिथ्म को बढ़ाया जाए जो कि स्थानीय चरम सीमा को पा सके, निरपेक्ष चरम सीमा को खोजने के लिए?

Comments

आप FAQ से लिंक किए गए क्रॉस मान्य या AI Q & A की जांच करना चाहते हैं ।

— केव

मुझे लगता है कि यह क्रमिक वंश की कमियों में से एक है- यह स्थानीय विलोपन में फंस सकता है। सिम्युलेटेड एनेलिंग जैसी अन्य तकनीकें इसके लिए कम संवेदनशील हो सकती हैं, लेकिन फिर भी मैं जो समझती हूं, उससे गारंटी नहीं ले सकती।

— जो

मुझे यकीन नहीं है कि 'बहुआयामी अंतरिक्ष' का इससे क्या लेना-देना है। यहां तक ​​कि R के लिए एक फ़ंक्शन में कई स्थानीय एक्स्ट्रेमा हो सकते हैं जिसमें ढाल खोज के साथ समस्याएं होंगी।

— सुरेश वेंकट

मुझे पूरा यकीन है कि लाइनों के साथ एक प्रमेय है कि यदि फ़ंक्शन निरंतर है, और पर्याप्त बिंदुओं पर नमूना लिया गया है, तो आप गारंटी दे सकते हैं कि ढाल वंश कुछ बिंदु पर वैश्विक न्यूनतम शुरू करेगा। यानी पॉवेल के एल्गोरिथ्म की तर्ज पर कुछ। साहित्य इतना विशाल है कि इस तरह का एक प्रमेय शायद कहीं प्रकाशित है, लेकिन इसके बारे में सुना है। यह भी साबित होता है कि स्थानीय अनुकूलन पर्याप्त नमूने के तहत वैश्विक आशावादी दृष्टिकोण कर सकता है, जैसा कि नमूना ऊपर जाता है।

— vnn

कुछ हद तक संबंधित देखना यह टिप्पणी भी की यहाँ कि दृढ़ता से तर्क है कि वैश्विक एनएन या संख्यात्मक विधि / अनुमानित प्रकार दृष्टिकोण हैं नहीं "सन्निकटन एल्गोरिथम"

— vzn

Answer 1

मुझे लगता है कि आप असंबंधित कम से कम के बारे में बात कर रहे हैं। यदि आप किसी विशिष्ट समस्या संरचना पर विचार कर रहे हैं तो आपका प्रश्न निर्दिष्ट होना चाहिए। अन्यथा, उत्तर नहीं है।

पहले मुझे एक मिथक को दूर करना चाहिए। क्लासिकल ग्रेडिएंट डीसेंट मेथड (जिसे स्टीपेस्ट डिसेंट विधि भी कहा जाता है ) को लोकल मिनिमाइज़र खोजने की गारंटी नहीं है। यह तब रुक जाता है जब इसे पहला-ऑर्डर क्रिटिकल पॉइंट मिल जाता है, यानी जहां ग्रेडिएंट गायब हो जाता है। किसी विशेष फ़ंक्शन के न्यूनतम होने और शुरुआती बिंदु के आधार पर, आप बहुत अच्छी तरह से एक काठी बिंदु पर या यहां तक ​​कि एक वैश्विक अधिकतम पर हो सकते हैं!

उदाहरण के लिए विचार करें और प्रारंभिक बिंदु ( x 0 , y 0 ) : = ( 1 , 0 ) । सबसे कम मूल दिशा है - eep f ( 1 , 0 ) = ( - 2 , 0 ) । सटीक लाइन खोज के साथ विधि का एक चरण आपको ( 0 , 0 ) पर छोड़ देता है$f(x,y) = x^2 - y^2$$(x_0,y_0) := (1,0)$$-\nabla f(1,0) = (-2,0)$$(0,0)$जहां ढाल गायब हो जाता है। काश, यह एक काठी बिंदु है। आपको दूसरे क्रम की अनुकूलता की स्थिति की जांच करके एहसास होगा। लेकिन अब कल्पना करें कि फ़ंक्शन । यहां, ( 0 , 0 ) अभी भी एक काठी बिंदु है, लेकिन संख्यात्मक रूप से, दूसरे क्रम की स्थितियां आपको नहीं बता सकती हैं। सामान्य तौर पर, आप यह निर्धारित हेस्सियन कहना है कि ∇ 2 च ( एक्स * , y * ) एक eigenvalue के बराबर है - 10 $f(x,y) = x^2 - 10^{-16} y^2$$(0,0)$$\nabla^2 f(x^*,y^*)$ । आप इसे कैसे पढ़ते हैं? क्या यह नकारात्मक वक्रता या संख्यात्मक त्रुटि है? कैसे+ 10 - 16 के बारे में?$-10^{-16}$$+10^{-16}$

जैसे अब एक समारोह पर विचार

$$f(x) = \begin{cases} 1 & \text{if } x \leq 0 \\ \cos(x) & \text{if } 0 < x < \pi \\ -1 & \text{if } x \geq \pi. \end{cases}$$

यह फ़ंक्शन पूरी तरह से सुचारू है, लेकिन यदि आपका प्रारंभिक बिंदु , तो एल्गोरिथ्म एक वैश्विक अधिकतम पर बंद हो जाता है। और दूसरे क्रम की अनुकूलता की स्थिति की जाँच करके, आपको पता नहीं चलेगा! यहाँ समस्या यह है कि कुछ लोकल मिनिमाइज़र ग्लोबल मैक्सिमाइज़र हैं!$x_0 = -2$

अब वस्तुतः सभी ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन विधियाँ डिजाइन द्वारा इससे पीड़ित हैं। आपका प्रश्न वास्तव में वैश्विक अनुकूलन के बारे में है । फिर, जवाब नहीं है, एक विधि को संशोधित करने के लिए कोई सामान्य व्यंजनों नहीं हैं ताकि यह गारंटी दी जा सके कि एक वैश्विक न्यूनतम पहचान की जाती है। बस अपने आप से पूछें: यदि एल्गोरिथ्म एक मान लौटाता है और कहता है कि यह एक वैश्विक न्यूनतम है, तो आप कैसे जांचेंगे कि यह सच है?

वैश्विक अनुकूलन में विधियों के वर्ग हैं। कुछ यादृच्छिकरण का परिचय देते हैं। कुछ बहु-प्रारंभ रणनीतियों का उपयोग करते हैं। कुछ समस्या की संरचना का फायदा उठाते हैं, लेकिन वे विशेष मामलों के लिए हैं। वैश्विक अनुकूलन पर एक किताब उठाओ। यह आपको पसंद आएगा।

Comments

@Roman: बहुत स्वागत है।

— डोमिनिकन

Answer 2

आपके प्रश्न का एक-आकार-फिट-सभी उत्तर शायद नहीं है। लेकिन आप नकली annealing एल्गोरिदम, या अन्य दृष्टिकोणों पर गौर करना चाहते हैं जो मार्कोव चेन मोंटे कार्लो (MCMC) के तरीकों पर भरोसा करते हैं। इन्हें स्थानीय विधियों जैसे ढाल वंश के साथ भी जोड़ा जा सकता है।

Answer 3

"तंत्रिका नेटवर्क के वैश्विक अनुकूलन" पर कई संदर्भ हैं। तकनीक एनाउल्टेड एनालिंग के समान है [अन्य उत्तर देखें]। बेसिक विचार कई अलग-अलग वजन के शुरुआती बिंदुओं पर शुरू होने वाले नेटवर्क ग्रेडिएंट डिसेन्ट्री को पुनः आरंभ करना है, जिसे बेतरतीब ढंग से या व्यवस्थित रूप से सैंपल किया गया है। ग्रेडिएंट डिसेंट का प्रत्येक परिणाम तब "नमूना" जैसा होता है। अधिक नमूने लिए जाते हैं, उच्च संभावना यह है कि नमूनों में से एक वैश्विक इष्टतम है, खासकर अगर लक्ष्य फ़ंक्शन निरंतर, भिन्न, वगैरह के अर्थ में "अच्छी तरह से व्यवहार किया जाता है"।

ऑनलाइन रेफरी

[१] हम्म एट अल द्वारा तंत्रिका नेटवर्क वजन का वैश्विक अनुकूलन

[२] तंत्रिका नेटवर्क प्रशिक्षण Voglis / Lagaris के लिए एक वैश्विक अनुकूलन दृष्टिकोण

[३] ग्लोबल ऑप्टिमाइज़ेशन पिंटर द्वारा कृत्रिम तंत्रिका नेटवर्क को कैलिब्रेट करना

[4] एक नियतात्मक हाइब्रिड दृष्टिकोण बेलियाकोव का उपयोग करते हुए तंत्रिका नेटवर्क का वैश्विक अनुकूलन

[५] तंत्रिका नेटवर्क प्रशिक्षण शांग / वाह के लिए वैश्विक अनुकूलन

Answer 4

सामान्य तौर पर बहुभिन्नरूपी nonconvex फ़ंक्शन को अनुकूलित करना कम्प्यूटेशनल रूप से कठिन है। कठोरता अलग-अलग स्वादों (क्रिप्टोग्राफिक, एनपी-हार्ड) में आती है। इसे देखने का एक तरीका यह है कि मिश्रण मॉडल (जैसे गासियन या एचएमएम का मिश्रण) सीखना मुश्किल है, लेकिन यह आसान (*) होगा यदि यह कुशलता से संभावना को अधिकतम करने के लिए संभव था। एचएमएम सीखने की कठोरता के परिणामों के लिए, http://alex.smola.org/journalclub/AbeWar92.pdf http://link.springer.com/chapter/10.1007%2F3-540-4558-3_36 http: // देखें। www.math.ru.nl/~terwijn/publications/icgiFinal.pdf

(*) nondegeneracy और पहचान की सामान्य स्थितियों को modulo

Answer 5

मुझे डोमिनिक से असहमत होना चाहिए। यह 1980 के दशक के मध्य में हेजेक द्वारा दिखाया गया था कि कुछ सख्त शर्तों के तहत एक गैर-संवेदी समस्या की घोषणा करना वैश्विक न्यूनतम तक पहुंचने की गारंटी है: http://dx.doi.org/10.1287/moor.13.2.311

Comments

उपरोक्त वर्णित कठोरता परिणामों के प्रकाश में, उन परिस्थितियों को वास्तव में बहुत सख्त होना चाहिए!

— आर्येह