गैर-उत्तलता को अनुकूलन में समस्या क्यों होनी चाहिए?

जब मैंने सामान्य रूप से गैर-उत्तल अनुकूलन के बारे में कुछ पढ़ना शुरू किया तो मुझे बहुत आश्चर्य हुआ और मैंने इस तरह के कथन देखे:

महत्व की कई व्यावहारिक समस्याएं गैर-उत्तल हैं, और अधिकांश गैर-उत्तल समस्याएं कठिन हैं (यदि असंभव नहीं है) एक उचित समय में वास्तव में हल करने के लिए। ( स्रोत )

या

सामान्य तौर पर स्थानीय न्यूनतम खोजना एनपी-कठिन होता है और कई एल्गोरिदम एक काठी बिंदु पर फंस सकते हैं। ( स्रोत )

मैं हर दिन गैर-उत्तल अनुकूलन कर रहा हूं - अर्थात् आणविक ज्यामिति की छूट। मैंने कभी भी इसे मुश्किल नहीं माना, धीमा और अटक जाने के लिए उत्तरदायी। इस संदर्भ में, हमारे पास स्पष्ट रूप से कई आयामी गैर-उत्तल सतह (> 1000 डिग्री स्वतंत्रता) हैं। हम ज्यादातर प्रथम-क्रम तकनीकों का उपयोग करते हैं जो कि स्टीपेस्ट डिसेंट और डायनेमिक शमन से उत्पन्न होती हैं जैसे कि FIRE , जो कुछ सौ चरणों में एक स्थानीय न्यूनतम (डीओएफ की संख्या से कम) में परिवर्तित होती हैं। मुझे उम्मीद है कि स्टोकेस्टिक शोर के अतिरिक्त यह नरक के रूप में मजबूत होना चाहिए। (वैश्विक अनुकूलन एक अलग कहानी है)

मैं किसी तरह की कल्पना नहीं कर सकता कि इन अनुकूलन विधियों को अटकाने या धीरे-धीरे अभिसरण करने के लिए संभावित ऊर्जा सतह कैसी दिखनी चाहिए। जैसे बहुत पैथोलॉजिकल पीईएस (लेकिन गैर-उत्तलता के कारण नहीं) यह सर्पिल है , फिर भी यह इतनी बड़ी समस्या नहीं है। क्या आप पैथोलॉजिकल गैर-उत्तल पीईएस का उदाहरण दे सकते हैं?

इसलिए मैं उपरोक्त उद्धरणों के साथ बहस नहीं करना चाहता। बल्कि, मुझे लगता है कि मैं यहाँ कुछ याद कर रहा हूँ। शायद प्रसंग।

optimization nonconvex

— प्रकोप हापला
स्रोत

यहां मुख्य शब्द "सामान्य रूप से" है - आप मनमाने ढंग से गंदे कार्यात्मक का निर्माण कर सकते हैं, विशेष रूप से बहुत उच्च आयामों में जो मूल रूप से "सभी काठी-बिंदु" हैं। दूसरी ओर, गैर-कार्यात्मक कार्यात्मक वर्गों की विशिष्ट कक्षाएं, बहुत अच्छी तरह से व्यवहार की जा सकती हैं, खासकर यदि आप उचित वैश्वीकरण रणनीतियों का उपयोग करते हैं।

— क्रिश्चियन क्लैसन

मुझे लगता है कि इष्टतम नियंत्रण सिद्धांत और इंजीनियरिंग / संचालन अनुसंधान अनुप्रयोगों में शुद्धता / मजबूती पर काफी जोर दिया जाता है, जबकि आप सोचते हैं कि कहीं "अच्छा पर्याप्त" प्राप्त करना काफी अच्छा है। प्रदर्शन सीमाएं हो सकती हैं (अभिसरण की गारंटी दी जानी है, ताकि किसी रोबोट के प्रक्षेपवक्र की गणना समय में की जाए), या शुद्धता सीमा (यदि आप समस्या के मापदंडों को थोड़ा बदलते हैं, तो आप अप्रत्याशित रूप से पूरी तरह से अलग परिणाम प्राप्त नहीं करते हैं)। तो यह कुछ इष्टतम अंक प्राप्त करने के लिए पर्याप्त नहीं है, उनके लिए कुछ निर्धारित गुण होना भी आवश्यक है।

— किरिल

जवाबों:

गलतफहमी एक अनुकूलन समस्या का "हल" करने में निहित है, उदाहरण के लिए । गणितज्ञों के लिए, समस्या को केवल "हल" माना जाता है, जब हमारे पास एक बार: $\arg\min f(x)$

एक उम्मीदवार समाधान: निर्णय चर का एक विशेष विकल्प और इसके संबंधित उद्देश्य मान , और $x^\star$ $f(x^\star)$
Optimality का सबूत: एक गणितीय प्रमाण है कि की पसंद विश्व स्तर पर इष्टतम है, यानी कि के हर चुनाव के लिए रखती है । $x^\star$ $f(x) \ge f(x^\star)$ $x$

जब उत्तल होता है, तो दोनों सामग्री आसानी से प्राप्त की जाती हैं। ग्रेडिएंट एक उम्मीदवार समाधान पता लगाता है जो ढाल को गायब कर देता है । MATH101 में सिखाए गए एक साधारण तथ्य से इष्टतमता का प्रमाण निम्न है, यदि उत्तल है, और इसका ग्रेडिएंट पर गायब हो जाता है , तो एक वैश्विक समाधान है। $f$ $x^\star$ $\nabla f(x^\star)=0$ $f$ $\nabla f$ $x^\star$ $x^\star$

जब नॉनवॉन्क्स होता है, तो एक उम्मीदवार समाधान अभी भी ढूंढना आसान हो सकता है, लेकिन इष्टतमता का प्रमाण बेहद मुश्किल हो जाता है। उदाहरण के लिए, हम ढाल वंश चला सकते हैं और एक बिंदु । लेकिन जब nonconvex है, तो हालत आवश्यक है, लेकिन वैश्विक अनुकूलता के लिए पर्याप्त नहीं है। वास्तव में, यह स्थानीय अनुकूलता के लिए भी पर्याप्त नहीं है , अर्थात हम यह भी गारंटी नहीं दे सकते हैं कि Star अपनी श्रेणीबद्ध जानकारी के आधार पर एक स्थानीय न्यूनतम है। एक दृष्टिकोण सभी बिंदुओं को संतुष्ट करने वाला है , और यह केवल एक या दो आयामों पर भी एक दुर्जेय कार्य हो सकता है। $f$ $\nabla f(x^\star)=0$ $f$ $\nabla f(x)=0$ $x^\star$ $\nabla f(x)=0$

जब गणितज्ञ कहते हैं कि अधिकांश समस्याओं को हल करना असंभव है, तो वे वास्तव में कह रहे हैं कि (यहां तक कि स्थानीय) इष्टतमता का प्रमाण निर्माण करना असंभव है । लेकिन वास्तविक दुनिया में, हम अक्सर "अच्छा-पर्याप्त" समाधान कंप्यूटिंग में रुचि रखते हैं, और यह अंतहीन तरीकों से पाया जा सकता है। कई अत्यधिक गैर-सांकेतिक समस्याओं के लिए, हमारा अंतर्ज्ञान हमें बताता है कि "अच्छे-पर्याप्त" समाधान वास्तव में वैश्विक रूप से इष्टतम हैं, भले ही हम इसे साबित करने में पूरी तरह से असमर्थ हों!

— रिचर्ड जांग
स्रोत

वैश्विक बनाम स्थानीय अनुकूलता पूरी तरह से अलग मुद्दा है। लेकिन बाकी समझ में आता है। के बारे में अधिक कह सकते हैं "यह भी गारंटी नहीं दे सकता है कि x एक स्थानीय न्यूनतम है जो इसकी ढाल जानकारी पर आधारित है" या बेहतर चित्रण है?

— प्रोकॉप हापला ११'१६ को ap

मान लें कि हमारे पास फ़ंक्शंस और ब्लैक बॉक्स के रूप में हैं (अर्थात हम केवल मूल्यांकन कर सकते हैं, लेकिन हमें उनका फ़ॉर्म देखने को नहीं मिलता है)। बिंदु दोनों ग्रेडिएंट को गायब कर देता है, अर्थात और , लेकिन बिंदु केवल लिए स्थानीय न्यूनतम है । दरअसल, इस बिंदु पर उनका दूसरा डेरिवेटिव भी शून्य है, इसलिए दो परिदृश्य पहले दो डेरिवेटिव से अकेले समान हैं!

f (x) = x^{3}

$f(x)=x^3$

g (x) = x^{4}

$g(x)=x^4$

x = 0

$x=0$

f^{'} (x) = 0

$f'(x)=0$

g^{'} (x) = 0

$g'(x)=0$

g

$g$

— रिचर्ड जांग

अहा, ठीक है, मैं हमेशा अपने आप में जड़ता => का अनुमान लगाता हूं कि एल्गोरिथ्म बिंदु को पर इंगित करने के लिए अभिसरण नहीं करेगा । लेकिन निश्चित रूप से, हम पिछले चरणों से अतिरिक्त जानकारी (जड़ता) का उपयोग करते हैं, न कि केवल एक बिंदु में ढाल।

x = 0

$x=0$

g (x) = x^{3}

$g(x)=x^3$

— प्रोकॉप हापला

मैं आपकी बात समझता हूं। और शायद यही कारण है कि कठोर गणितीय अर्थ में गैर-उत्तल अनुकूलन को कठिन माना जाता है। लेकिन, फिर भी मैं व्यावहारिक अनुप्रयोग में अधिक रुचि रखता हूं, जहां हेयुरेटिक्स (जो मैं एल्गोरिथम के प्राकृतिक भाग के रूप में मानता हूं) बुरी तरह से विफल हो जाएगा।

— प्रोकॉप हापाला

क्वासिकोवेक्सिटी के बारे में क्या? इस तर्क द्वारा (( पर्याप्त है), quasiconvex समस्याओं को उत्तल समस्याओं के रूप में अनुकूलित करना आसान नहीं होगा। मेरी समझ यह है कि बाद की सत्य (उत्तल समस्याएं अभी भी आसान हैं)

\nabla f (x) = 0

$\nabla f(x)=0$

— एमिलियो वाज़केज़-रीना

एक मुश्किल कम आयामी समस्या का एक उदाहरण हो सकता है:

यह देखते हुए कि आप स्थानीय मिनीमा को मारते हैं, आप यह कैसे सुनिश्चित कर सकते हैं कि यह वैश्विक मिनीमा के जितना अच्छा हो? आपको कैसे पता चलेगा कि आपका परिणाम एक अद्वितीय इष्टतम समाधान है, यह विश्व स्तर पर इष्टतम है? आप सभी पहाड़ियों और घाटियों के लिए एक एल्गोरिदम को मजबूत कैसे बना सकते हैं ताकि यह कहीं अटक न जाए?

इस तरह का एक उदाहरण है जहां चीजें मुश्किल हो सकती हैं। जाहिर है, सभी समस्याएं इस तरह नहीं हैं, लेकिन कुछ हैं। क्या बुरा है, उद्योग में एक सेटिंग में, लागत समारोह की गणना करने में समय लग सकता है और ऊपर की तरह एक समस्याग्रस्त सतह हो सकती है।

वास्तविक समस्या उदाहरण

एक उदाहरण जिस पर मैं काम कर सकता था वह एक मिसाइल मार्गदर्शन एल्गोरिथ्म के लिए एक अनुकूलन कर रहा है जो कई लॉन्च स्थितियों में मजबूत हो सकता है। हमारे क्लस्टर का उपयोग करके, मुझे एक ही स्थिति के लिए लगभग 10 मिनट में प्रदर्शन माप की आवश्यकता हो सकती है। अब पर्याप्त रूप से मजबूती का न्याय करने के लिए, हम चाहते हैं कि कम से कम स्थितियों का एक नमूना न्याय करने के लिए। तो मान लें कि हम छह शर्तों को चलाते हैं, इस लागत फ़ंक्शन के मूल्यांकन में एक घंटा लगता है।

Nonlinear मिसाइल गतिशीलता, वायुमंडलीय गतिशीलता, असतत समय प्रक्रियाओं, आदि के परिणामस्वरूप मार्गदर्शन एल्गोरिथ्म में परिवर्तन के लिए एक बहुत ही nonlinear प्रतिक्रिया होती है, जिससे अनुकूलन को हल करना मुश्किल हो जाता है। तथ्य यह है कि यह लागत समारोह गैर-उत्तल होगा तथ्य यह है कि किसी बड़े मुद्दे का मूल्यांकन करने में समय लगता है। इस तरह का एक उदाहरण है, जहाँ हम उस समय के लिए सबसे अच्छा प्रयास करेंगे जो हम दे सकते हैं।

— Spektr
स्रोत

ठीक है, मुझे लगता है कि यह अलग समस्या है ... वैश्विक अनुकूलन की संभावना, जो स्पष्ट रूप से कठिन है, और अधिकांश स्थितियों में अस्वीकार्य है। लेकिन यह नहीं है कि लोग गैर-उत्तल अनुकूलन के संबंध में क्या कहते हैं, जहां वे कहते हैं कि स्थानीय न्यूनतम खोजने के लिए एनपी-हार्ड और कई एल्गोरिदम एक काठी बिंदु पर फंस सकते हैं।

— प्रकोप हापला

@ProkopHapala मेरी टिप्पणियों में उद्धरण का अधिक उल्लेख किया गया था महत्व की कई व्यावहारिक समस्याएं गैर-उत्तल हैं, और अधिकांश गैर-उत्तल समस्याएं कठिन हैं (यदि असंभव नहीं है) एक उचित समय में वास्तव में हल करने के लिए , खासकर जब से ओपी कितनी सरल थी, इस बारे में बात कर रहे थे यह उनके लिए अनुसंधान में गैर-उत्तल समस्याओं से निपटने के लिए किया गया है। मेरे लिए वास्तव में हल करना, विश्व स्तर पर इष्टतम समाधान (या कुछ करीबी) के लिए प्रयास कर रहा है। इसलिए मैं इन टिप्पणियों से संबंधित वास्तविक-विश्व की चुनौतियों का चित्र बनाना चाहता था।

— १२:२१

मै समझता हुँ। कड़ाई से बोलते हुए आप सही हैं, लेकिन फिर भी मुझे लगता है कि इसका मतलब यह नहीं है कि मेरा क्या मतलब है ... शायद मुझे इसे बेहतर बनाना चाहिए।

— प्रोकॉप हापाला

समस्या उस काठी बिंदु की है, जिस पोस्ट में आप चर्चा कर रहे हैं। लिंक किए गए लेखों में से एक के सार से :

हालांकि, सामान्य तौर पर यह गारंटी देना कठिन है कि इस तरह के एल्गोरिदम उच्च आयामों में जटिल काठी बिंदु संरचनाओं के अस्तित्व के कारण स्थानीय न्यूनतम में भी परिवर्तित होते हैं। कई कार्यों में पतित बिंदु होते हैं जैसे कि पहले और दूसरे क्रम के डेरिवेटिव उन्हें स्थानीय ऑप्टिमा के साथ अलग नहीं कर सकते हैं । इस पत्र में हम इन काठी बिंदुओं से बचने के लिए उच्चतर आदेश व्युत्पन्न का उपयोग करते हैं: हम तीसरे कुशल स्थानीय इष्टतम (जबकि मौजूदा तकनीकें दूसरे क्रम पर हैं) में कनवर्ट करने के लिए गारंटी वाले पहले कुशल एल्गोरिदम को डिजाइन करते हैं। हम यह भी बताते हैं कि चौथा आदेश स्थानीय ऑप्टिमा खोजने के लिए इसे आगे बढ़ाना एनपी-कठिन है।

अनिवार्य रूप से आपके पास ऐसे कार्य हो सकते हैं जहां आपके पास 1, 2 और 3 के डेरिवेटिव को देखते हुए स्थानीय मिनिमा से अप्रभेद्य बिंदु हैं। आप इसे उच्च आदेश ऑप्टिमाइज़र पर जाकर हल कर सकते हैं, लेकिन वे बताते हैं कि स्थानीय 4 न्यूनतम ऑर्डर को पूरा करना एनपी कठिन है।

मैं लेख पढ़ने की सलाह देता हूं, क्योंकि वे ऐसे कार्यों के कई उदाहरण भी दिखाते हैं। उदाहरण के लिए फ़ंक्शन में ऐसा बिंदु (0,0) है। $x^2y+y^2$

आप इस तरह के बिंदुओं से बचने के लिए कई आंकड़ों का उपयोग कर सकते हैं, जो कई (अधिकांश?) वास्तविक दुनिया के उदाहरणों के लिए काम कर सकते हैं, लेकिन हमेशा काम करने के लिए साबित नहीं किया जा सकता है । आपके द्वारा लिंक किए
गए ब्लॉग पोस्ट में वे उन शर्तों पर भी चर्चा करते हैं जिनके तहत आप बहुपदीय समय में इस तरह के काठी बिंदुओं से बच सकते हैं।

— LKlevin
स्रोत

हां, यह स्पष्ट है कि एक बिंदु में मूल्य और ढाल से आप इसे अलग नहीं कर सकते। लेकिन मैं किसी भी तरह से यह नहीं देखता कि आम उत्तराधिकार (जैसे स्टॉचस्टिक ग्रेडिएंट डिसेंट या FIRE) ऐसी स्थिति में विफल क्यों होना चाहिए। मुझे पूरा यकीन है कि यह लिए ठीक काम करेगा । इसलिए मैं कल्पना करने की कोशिश कर रहा हूं कि यह कुछ काम नहीं करेगा।

x^{2} y + y^{2}

$x^2y+y^2$

— प्रकोप हापाला

आपको इसे दूसरे तरीके से देखना होगा। ऐसा नहीं है कि हम जानते हैं कि स्टोकेस्टिक क्रमिक वंश विफल हो जाएगा, यह है कि हम नहीं जानते कि यह सफल होगा। खिलौना समस्याओं के लिए, यह व्यवहार में होने की संभावना नहीं है, लेकिन यह उच्च आयामी समस्याओं के लिए हो सकता है। मेरी शर्त है कि आपकी रसायन विज्ञान की समस्याओं के लिए, ऐसा कभी नहीं होगा, लेकिन मुझे यह साबित करने के लिए कड़ी मेहनत करनी होगी।

— LKlevin