आप शीर्ष स्तर के एल्गोरिथ्म प्रवाह चार्ट देख रहे हैं। फ्लो चार्ट में व्यक्तिगत चरणों में से कुछ अपने स्वयं के विस्तृत फ्लो चार्ट का गुणन कर सकते हैं। हालांकि, प्रकाशित पत्रों में संक्षिप्तता पर जोर देने के बाद, कई विवरण अक्सर छोड़ दिए जाते हैं। मानक आंतरिक अनुकूलन समस्याओं के लिए विवरण, जिन्हें "पुरानी टोपी" माना जाता है, उन्हें बिल्कुल भी प्रदान नहीं किया जा सकता है।
सामान्य विचार यह है कि अनुकूलन एल्गोरिदम को आमतौर पर आसान अनुकूलन समस्याओं की एक श्रृंखला के समाधान की आवश्यकता हो सकती है। शीर्ष स्तर के एल्गोरिथ्म के भीतर अनुकूलन एल्गोरिदम के 3 या 4 स्तर होना असामान्य नहीं है, हालांकि उनमें से कुछ मानक ऑप्टिमाइज़र के लिए आंतरिक हैं।
यहां तक कि यह निर्णय लेते हुए कि एल्गोरिथ्म (एक पदानुक्रमित स्तर पर) को समाप्त करने के लिए एक पक्ष अनुकूलन समस्या को हल करने की आवश्यकता हो सकती है। उदाहरण के लिए, केकेजीटी इष्टतमता स्कोर का मूल्यांकन करने के लिए उपयोग किए जाने वाले लैग्रेग मल्टीप्लायरों को निर्धारित करने के लिए उपयोग किए जाने वाले गैर-नकारात्मक रूप से विवश रैखिक कम वर्गों की समस्या को हल करने का निर्णय लिया जा सकता है।
यदि अनुकूलन समस्या स्टोचस्टिक या डायनेमिक है, तो ऑप्टिमाइज़ेशन के अतिरिक्त पदानुक्रमित स्तर हो सकते हैं।
यहाँ एक उदाहरण है। अनुक्रमिक द्विघात प्रोग्रामिंग (SQP)। एक प्रारंभिक अनुकूलन समस्या का इलाज करुश-कुह्न-टकर इष्टतमता परिस्थितियों को हल करके किया जाता है, जो प्रारंभिक बिंदु से एक उद्देश्य के साथ शुरू होता है जो समस्या के लैग्रैजियन का एक द्विघात अनुमान है, और बाधाओं का एक रैखिककरण है। परिणामी द्विघात कार्यक्रम (QP) हल है। QP जो हल किया गया था, या तो विश्वास क्षेत्र की कमी है, या अगली पुनरावृत्ति को खोजने के लिए, QP के समाधान के लिए वर्तमान iterate से एक लाइन खोज आयोजित की जाती है, जो कि स्वयं एक अनुकूलन समस्या है। यदि एक क्वैसी-न्यूटन विधि का उपयोग किया जा रहा है, तो लाग्रेसियन के हेस्सियन को क्वैसी-न्यूटन अपडेट निर्धारित करने के लिए एक अनुकूलन समस्या को हल करना होगा - आमतौर पर यह एक बंद फॉर्म का उपयोग होता है जैसे कि BFGS या SR1 जैसे बंद फॉर्मूले। लेकिन यह एक संख्यात्मक अनुकूलन हो सकता है। फिर नई QP को हल किया जाता है, आदि। यदि QP कभी-कभी अलग-अलग हो, जिसमें प्रारंभ करना भी शामिल है, तो एक अनुकूलन बिंदु को एक व्यवहार्य बिंदु खोजने के लिए हल किया जाता है। इस बीच, QP सॉल्वर के अंदर आंतरिक अनुकूलन समस्याओं के एक या दो स्तर हो सकते हैं। प्रत्येक पुनरावृत्ति के अंत में, एक गैर-नकारात्मक रैखिक न्यूनतम वर्गों की समस्या को इष्टतमता स्कोर निर्धारित करने के लिए हल किया जा सकता है। आदि।
यदि यह एक मिश्रित पूर्णांक समस्या है, तो इस पूरे शेबंग को उच्च स्तर के एल्गोरिथ्म के भाग के रूप में, प्रत्येक ब्रांचिंग नोड पर किया जा सकता है। इसी तरह एक वैश्विक ऑप्टिमाइज़र के लिए - एक वैश्विक अनुकूलन समस्या का उपयोग वैश्विक रूप से इष्टतम समाधान पर एक ऊपरी सीमा का उत्पादन करने के लिए किया जाता है, फिर कुछ बाध्य बाधाओं की छूट के लिए एक कम बाध्य अनुकूलन समस्या का उत्पादन किया जाता है। एक मिश्रित पूर्णांक या वैश्विक अनुकूलन समस्या को हल करने के लिए शाखा और बाउंड से हजारों या "आसान" अनुकूलन समस्याएं हल हो सकती हैं।
यह आपको एक विचार देना शुरू करना चाहिए।
संपादित करें : चिकन और अंडे के सवाल के जवाब में जो मेरे जवाब के बाद सवाल में जोड़ा गया था: यदि चिकन और अंडे की समस्या है, तो यह एक अच्छी तरह से परिभाषित व्यावहारिक एल्गोरिथ्म नहीं है। मेरे द्वारा दिए गए उदाहरणों में, चिकन और अंडा नहीं है। उच्चतर स्तर का एल्गोरिथ्म ऑप्टिमाइज़ेशन सॉल्वरों का आह्वान करता है, जो या तो परिभाषित हैं या पहले से मौजूद हैं। एसक्यूपी पुनरावृत्ति उप समस्याओं को हल करने के लिए एक क्यूपी सॉल्वर को आमंत्रित करता है, लेकिन क्यूपी सॉल्वर मूल समस्या की तुलना में एक आसान समस्या, क्यूपी हल करता है। यदि कोई उच्च स्तरीय वैश्विक अनुकूलन एल्गोरिथ्म है, तो यह स्थानीय नॉनलाइनियर ऑप्टिमाइज़ेशन सबप्रॉम्बल्म्स को हल करने के लिए एक SQP सॉल्वर को आमंत्रित कर सकता है, और बदले में SQP सॉल्वर QP उपप्रोफ़ेल्स को हल करने के लिए QP सॉल्वर को कॉल करता है। कोई चीकू और अंडा नहीं।
नोट: अनुकूलन के अवसर "हर जगह" हैं। ऑप्टिमाइज़ेशन विशेषज्ञ, जैसे कि ऑप्टिमाइज़िंग एल्गोरिदम विकसित करने वाले, इन ऑप्टिमाइज़ेशन अवसरों को देखने की अधिक संभावना रखते हैं, और उन्हें औसत या जो या जेन की तुलना में इस तरह देखते हैं। और एल्गोरिथ्म रूप से झुका हुआ, काफी स्वाभाविक रूप से वे निचले स्तर के अनुकूलन एल्गोरिदम से अनुकूलन एल्गोरिदम के निर्माण के अवसर देखते हैं। अनुकूलन समस्याओं का निरूपण और समाधान अन्य (उच्च स्तर) अनुकूलन एल्गोरिदम के लिए बिल्डिंग ब्लॉक्स के रूप में कार्य करता है।
संपादित करें 2 : इनाम के अनुरोध के जवाब में जो सिर्फ ओपी द्वारा जोड़ा गया था। SQP नॉनलाइनियर ऑप्टिमाइज़र SNOPT https://web.stanford.edu/group/SOL/reports/snopt.pdf का वर्णन करने वाला पेपर विशेष रूप से QP सॉल्वर SQOPT का उल्लेख करता है, जिसे अलग-अलग प्रलेखित किया गया है, जैसा कि SNOPT में QP उपप्रकारों को हल करने के लिए उपयोग किया जा रहा है।
