क्या गैर-उत्तल कार्यों के लिए ढाल मूल को लागू किया जा सकता है?

Question

मैं सिर्फ अनुकूलन के बारे में सीख रहा हूं, और उत्तल और गैर-उत्तल अनुकूलन के बीच अंतर को समझने में परेशानी हो रही है। मेरी समझ से, एक उत्तल फ़ंक्शन वह होता है जहां "फ़ंक्शन के ग्राफ़ पर किसी भी दो बिंदुओं के बीच का रेखा खंड ऊपर या ग्राफ़ पर स्थित होता है"। इस स्थिति में, एक ढाल वंश एल्गोरिथ्म का उपयोग किया जा सकता है, क्योंकि एक एकल न्यूनतम है और ग्रेडिएंट आपको हमेशा उस न्यूनतम पर ले जाएगा।

हालांकि, इस आंकड़े में समारोह के बारे में क्या:

यहाँ, लाल रेखा के नीचे नीली रेखा खंड पार करती है। हालाँकि, फ़ंक्शन में अभी भी एक न्यूनतम है, और इसलिए ढाल वंश अभी भी आपको इस न्यूनतम पर ले जाएगा।

तो मेरे सवाल हैं:

1) इस आकृति में समारोह उत्तल है, या गैर-उत्तल है?

2) यदि यह गैर-उत्तल है, तो उत्तोलन अनुकूलन विधियों (ढाल वंश) को अभी भी लागू किया जा सकता है?

Answer 1

आपके द्वारा रेखांकन किया गया फ़ंक्शन वास्तव में उत्तल नहीं है। हालाँकि, यह क्वासिकोवेक्स है ।

$x_1, x_2, \ldots$$f(x_1) > f(x_2) > \ldots$

धीरे-धीरे वंशज समारोह की एक स्थिर बिंदु तक पहुंच जाएगा, भले ही उत्तलता की परवाह किए बिना। यदि फ़ंक्शन उत्तल है, तो यह एक वैश्विक न्यूनतम होगा, लेकिन यदि नहीं, तो यह एक स्थानीय न्यूनतम या यहां तक ​​कि एक काठी बिंदु हो सकता है।

$f(x) = x^3$

Answer 2

पॉल ने पहले ही एक महत्वपूर्ण बिंदु का उल्लेख किया है:

• अगर एफ उत्तल है तो कोई काठी बिंदु नहीं हैं और सभी स्थानीय मिनीमा भी वैश्विक हैं। इस प्रकार जीडी (एक उपयुक्त कदम के साथ) एक वैश्विक न्यूनतम खोजने के लिए गारंटी है।

जो गैर-उत्तल अनुकूलन को कठिन बनाता है वह काठी अंक और स्थानीय मिनिमा की उपस्थिति है, जहां ग्रेडिएंट (0, ..., 0) है और जिसका मनमाना बुरा उद्देश्य मूल्य है।

इस तरह की सेटिंग में वैश्विक मिनिमाइज़र खोजना आम तौर पर एनपी-हार्ड है और एक स्थानीय मिनिमाइज़र खोजने के लक्ष्य के साथ बसता है।

हालाँकि, ध्यान दें कि:

• जीडी की प्रोबिलीली एक काठी पर अटकने के लिए वास्तव में 0 है ( यहां देखें )।
• हालांकि, काठी बिंदुओं की उपस्थिति गंभीर रूप से धीमी गति से जीडी की प्रगति को धीमा कर सकती है क्योंकि कम वक्रता के निर्देशों का धीरे-धीरे शोषण किया जाता है ( देखें )

आपकी समस्या की गतिशीलता के आधार पर इस प्रकार दूसरे क्रम के अनुकूलन दिनचर्या के लिए जाना उचित हो सकता है।