न्यूटन-समीकरणों के अनुकूलन बनाम समाधान प्रणालियों में न्यूटन-आधारित विधियाँ

Question

मैंने मिनपैक के बारे में हाल के प्रश्न के बारे में स्पष्टीकरण मांगा , और निम्नलिखित टिप्पणी मिली:

समीकरणों की कोई भी प्रणाली अनुकूलन समस्या के समतुल्य है, यही वजह है कि अनुकूलन में न्यूटन-आधारित पद्धतियाँ बहुत कुछ देखती हैं जैसे कि न्यूटन-आधारित समीकरणों को हल करने के लिए न्यूटन-आधारित विधियाँ।

इस टिप्पणी के बारे में मुझे क्या भ्रमित करता है (और मिनेप जैसे विशिष्ट नॉनलाइनर कम से कम वर्ग सॉल्वर के बारे में नकारात्मक राय ) को संयुग्म ढाल विधि के उदाहरण पर सबसे अच्छा समझाया जा सकता है । यह विधि सिस्टम के लिए एक सममित सकारात्मक निश्चित मैट्रिक्स ए के साथ लागू होती है । यह भी हल करने के लिए सामान्य से कम वर्ग समस्या इस्तेमाल किया जा सकता मिनट x | | एक एक्स - बी | | 2 एक मनमाना मैट्रिक्स $Ax=b$$A$$\operatorname{min}_x||Ax-b||^2$$A$, लेकिन ऐसा करने की अनुशंसा नहीं की जाती है। एक स्पष्टीकरण कि हमें ऐसा क्यों नहीं करना चाहिए, यह है कि सिस्टम की स्थिति संख्या में काफी वृद्धि होगी।

लेकिन अगर एक अनुकूलन समस्या में समीकरणों के सिस्टम को मोड़ना रैखिक मामले के लिए भी समस्याग्रस्त माना जाता है, तो इसे सामान्य मामले के लिए कम समस्याग्रस्त क्यों होना चाहिए? यह कुछ हद तक वृद्ध नॉनलाइनियर कम से कम वर्गों के सॉल्वर का उपयोग करने के बजाय कला अनुकूलन एल्गोरिथ्म की स्थिति का उपयोग करने से संबंधित है। लेकिन जानकारी को फेंकने और वास्तव में उपयोग किए जाने वाले अनुकूलन एल्गोरिथम के अपेक्षाकृत स्वतंत्र रूप से सिस्टम की स्थिति संख्या बढ़ाने से संबंधित समस्याएं नहीं हैं?

Answer 1

चूंकि मेरे एक उत्तर का हवाला दिया गया है, इसलिए मैं स्पष्ट करने की कोशिश करूंगा कि मैंने मिनैकैक के बजाय आईपीओपीटी का उपयोग करने का सुझाव क्यों दिया।

MINPACK का उपयोग करने के लिए मेरी आपत्तियों का MINAPACK द्वारा उपयोग किए जाने वाले एल्गोरिदम और उनके कार्यान्वयन के साथ करने के लिए कुछ भी नहीं है। मेरी मुख्य आपत्ति यह है कि यह सॉफ्टवेयर 1980 की है, और आखिरी बार 1999 में अपडेट किया गया था। जॉर्ज मोरे सेवानिवृत्त हैं; मुझे संदेह है कि वह या सॉफ्टवेयर के किसी भी अन्य लेखक अब इस पर नजर रखते हैं, और सक्रिय रूप से इसका समर्थन करने वाले लोगों की कोई टीम नहीं है। सॉफ्टवेयर पर मुझे केवल एक ही दस्तावेज मिल सकता है, जो कि ऑर्गनेन की तकनीकी रिपोर्ट, जो जोर्ज मोरे और अन्य MINPACK लेखकों द्वारा लिखित मूल है। (अध्याय 1-3 यहाँ पाया जा सकता है , और अध्याय 4 यहाँ पाया जा सकता है।) MINPACK स्रोत कोड की खोज करने और प्रलेखन के बाद (पीडीएफ स्कैन की गई छवियां हैं, और खोज नहीं की जा सकती), मुझे बाधाओं को समायोजित करने के लिए कोई विकल्प नहीं दिखता है। चूंकि nonlinear न्यूनतम-वर्ग समस्या का मूल पोस्टर एक विवश nonlinear न्यूनतम-वर्ग समस्या को हल करना चाहता था, MINPACK भी उस समस्या को हल नहीं करेगा।

यदि आप आईपीओपीटी मेलिंग सूची को देखते हैं, तो कुछ उपयोगकर्ता इंगित करते हैं कि नॉनलाइनियर कम से कम वर्गों (एनएलएस) की समस्याओं के पैकेज के प्रदर्शन को लेवेनबर्ग-मार्क्वार्ड एल्गोरिदम और अधिक विशिष्ट एनएलएस एल्गोरिदम ( यहां , यहां और यहां देखें ) के सापेक्ष मिश्रित है । एनएलएस एल्गोरिदम के सापेक्ष आईपीओपीटी का प्रदर्शन, निश्चित रूप से, समस्या पर निर्भर है। उस उपयोगकर्ता की प्रतिक्रिया को देखते हुए, IPOPT एनएलएस एल्गोरिदम के सापेक्ष एक उचित सिफारिश की तरह लगता है।

हालाँकि, आप एक अच्छी बात करते हैं कि एनएलएस एल्गोरिदम की जांच की जानी चाहिए। मैं सहमत हूँ। मुझे लगता है कि MINPACK की तुलना में अधिक आधुनिक पैकेज का उपयोग किया जाना चाहिए क्योंकि मेरा मानना ​​है कि यह बेहतर प्रदर्शन करेगा, अधिक उपयोगी होगा, और समर्थित होगा। सेरेस एक दिलचस्प उम्मीदवार पैकेज की तरह लगता है, लेकिन यह अभी विवश समस्याओं को संभाल नहीं सकता है। टीएओबॉक्स-कम से कम वर्गों की समस्याओं पर काम करेगा, हालांकि यह क्लासिक लेवेनबर्ग-मार्क्वार्ड को लागू नहीं करता है, लेकिन इसके बजाय एक व्युत्पन्न-मुक्त एल्गोरिथ्म को लागू करता है। एक व्युत्पन्न-मुक्त एल्गोरिथ्म शायद बड़े पैमाने पर समस्याओं के लिए अच्छी तरह से काम करेगा, लेकिन मैं इसे छोटे पैमाने पर समस्याओं के लिए उपयोग नहीं करूंगा। मुझे ऐसा कोई अन्य पैकेज नहीं मिला जिससे उनके सॉफ्टवेयर इंजीनियरिंग में विश्वास का एक बड़ा कारण प्रेरित हो। उदाहरण के लिए, GALAHAD पहली नज़र में संस्करण नियंत्रण या किसी भी स्वचालित परीक्षण का उपयोग नहीं करता है। मिनट उन चीजों को करने के लिए प्रतीत नहीं होता है। यदि आपके पास MINPACK या बेहतर सॉफ़्टवेयर के बारे में सिफारिशों के साथ अनुभव है, तो मैं सभी कान हूं।

उस सब को ध्यान में रखते हुए, मेरी टिप्पणी के उद्धरण पर वापस आना:

समीकरणों की कोई भी प्रणाली अनुकूलन समस्या के समतुल्य है, यही वजह है कि अनुकूलन में न्यूटन-आधारित पद्धतियाँ बहुत कुछ देखती हैं जैसे कि न्यूटन-आधारित समीकरणों को हल करने के लिए न्यूटन-आधारित विधियाँ।

एक बेहतर टिप्पणी शायद इसके प्रभाव के लिए कुछ है:

$n$$n$$g(x) = 0$

यह कथन बाधाओं के तहत समीकरणों के समाधान की व्यवस्था के लिए भी है। मुझे ऐसे किसी भी एल्गोरिदम का पता नहीं है, जो उस मामले के लिए "समीकरण सॉल्वर" माने जाते हैं, जहां चर पर अड़चनें हैं। मैं जो सामान्य दृष्टिकोण जानता हूं, शायद ऑप्टिमाइज़ेशन कोर्स के कई सेमेस्टर और एक ऑप्टिमाइज़ेशन लैब में शोध से पीलिया है, समीकरणों के सिस्टम पर बाधाओं को एक अनुकूलन फॉर्मूलेशन में शामिल करना है। यदि आप समीकरण हल करने के लिए न्यूटन-रफसन जैसी योजना में बाधाओं का उपयोग करने की कोशिश कर रहे थे, तो आप शायद एक अनुमानित ढाल या अनुमानित विश्वास-क्षेत्र विधि के साथ समाप्त हो जाएंगे, बहुत कुछ विवश अनुकूलन में उपयोग किए गए तरीकों की तरह।

Comments

मुझे MINPACK के साथ अनुभव है। स्थानीय विधि के रूप में यह काफी अच्छा है। मुझे यह पसंद है कि यह मापदंड को रोकने के बिना अच्छी तरह से काम कर रहा है। मुझे पता है कि बाधाओं के साथ बात कष्टप्रद हो सकती है, खासकर जब से यह एल्गोरिथम में एक बड़ा बदलाव नहीं होगा। मैं एलएम कार्यान्वयनों के बारे में भी जानता हूं जो चर और सामान्य रैखिक बाधाओं पर सीमा प्रदान करते हैं, लेकिन ये कार्यान्वयन स्वयं MINPACK की तुलना में बहुत कम नहीं हैं, और मैंने उनका मूल्यांकन करने की जहमत नहीं उठाई है।

— थॉमस क्लिम्पेल

$g(x)=0$$\lVert g(x) \rVert^2$

$g(x) = 0, x \in S, S \subset \mathbb{R}^{n}, S \neq \mathbb{R}^{n}$

— ज्योफ ऑक्सबेरी

$\min_{x \in S} \|g(x)\|^2$$g(x) = 0$$S$

— ज्योफ ऑक्सीबेरी

$S$

Answer 2

यदि किसी दिए गए नॉनलाइनियर सिस्टम में ऑप्टिमाइज़ेशन समस्या के लिए पहला ऑर्डर इष्टतमता की स्थिति है, तो हम अक्सर उस जानकारी का उपयोग करके अधिक मजबूत एल्गोरिथम का उत्पादन कर सकते हैं। उदाहरण के लिए, समीकरण पर विचार करें

$$f(x) = x^2 - \exp\big(-4(x-2)^2 \big) \qquad \text{[click for Wolfram Alpha]}$$

$x$$\nabla f(x) = 0$

जिसका एक अनूठा समाधान है, लेकिन कई रूटफ़ाइंडिंग विधियाँ स्थानीय न्यूनतम पर अटक सकती हैं।

$x$$\lVert\nabla f(x)\rVert^2$

संक्षेप में, हमने एक अनुकूलन समस्या के साथ शुरुआत की जिसका एक अनूठा समाधान था कि हम गारंटी दे सकते हैं कि एक विधि मिल जाएगी। हमने एक नाइलिनियर रूट फाइंडिंग समस्या के रूप में सुधार किया, जिसका एक अनूठा समाधान था जिसे हम स्थानीय रूप से पहचान सकते थे, लेकिन एक रूटफाइंडिंग विधि (जैसे न्यूटन) इसे पहुंचने से पहले ही स्थिर कर सकती है। हमने तब रूट खोजने की समस्या का अनुकूलन एक अनुकूलन समस्या के रूप में किया था जिसमें कई स्थानीय समाधान थे (कोई भी स्थानीय उपाय का उपयोग यह पहचानने के लिए नहीं किया जा सकता है कि हम वैश्विक न्यूनतम पर नहीं हैं)।

सामान्य तौर पर, हर बार जब हम किसी समस्या को ऑप्टिमाइज़िंग से रूटफाइंडिंग या इसके विपरीत में परिवर्तित करते हैं, तो हम उपलब्ध तरीकों और संबंधित कन्वर्सेशन को कमजोर बनाते हैं। विधियों के वास्तविक यांत्रिकी अक्सर बहुत समान होते हैं, इसलिए गैरलाइनियर सॉल्वर्स और अनुकूलन के बीच बहुत सारे कोड का पुन: उपयोग करना संभव है।

Comments

Jed, उन WA लिंक काफी नहीं जाते हैं जो आप कहते हैं कि वे करते हैं। कोष्ठक को अनदेखा या अनुचित तरीके से URL में पारित किया जा रहा है।

— बिल बैर्थ

अजीब बात है, लिंक मेरे लिए काम करते हैं। क्या यह वेब ब्राउज़र पर निर्भर कर सकता है? इसे प्रस्तुत करने के लिए वैकल्पिक तरीके के लिए कोई सुझाव?

— जेड ब्राउन

निश्चित नहीं। एक टैब से रिफ़ेक्टेड लिंक को काटने और चिपकाने से अगले कारणों में इसे फिर से पेंच करने के लिए WA को पेंच करना पड़ता है!

— बिल बर्थ

क्या किसी और को लिंक से परेशानी है? मैंने कई ब्राउज़रों में कोशिश की है और यह हर मामले में ठीक काम करता है।

— जेड ब्राउन

यह एक अच्छा जवाब है। हालांकि, मैंने इसके बजाय ज्योफ ऑक्सबेरी के जवाब को स्वीकार करने का फैसला किया, क्योंकि मैं जो समझने की कोशिश कर रहा था उसका एक हिस्सा "वास्तविक दुनिया" सवाल से संबंधित मुद्दे हैं। इसमें यह भी शामिल है कि मेरे जैसे लोग इसकी कमियों के बारे में जानने के बावजूद MINPACK का उपयोग और अनुशंसा करते हैं, और अन्य लोग "तुच्छ रूप से छोटे" गैर-लीनियर सिस्टम को हल करने के बारे में सलाह मांगते हैं, लेकिन तीन महीने में एक भी सॉल्वर का परीक्षण करने का प्रबंधन नहीं करते हैं समय सीमा।

— थॉमस क्लिम्पेल