बॉक्स की बाधाओं के साथ नॉनलाइनियर कम से कम वर्ग

Question

गैर-कम से कम वर्ग, न्यूनतम , बॉक्स की कमी के साथ ? यह मुझे (मूर्खों की भीड़ में) लगता है कि कोई बॉक्स को द्विघात बना सकता है, और जहां "टब फंक्शन" का आकार \ _ _ _ /, जैसा है । क्या यह सिद्धांत में काम करता है, अभ्यास में काम करता है? (एनएलएस + पर कई सैद्धांतिक पेपर प्रतीत होते हैं, लेकिन मेरी रुचि व्यावहारिक है - वास्तविक या यथार्थवादी परीक्षण के मामले मुझे तरीकों में से चुनने में मदद करेंगे।)$\sum err_i(p)^2$Σ मैं ई आर आर मैं ( पी ) 2 + सी * Σ जे टी यू बी ( पी जे , एल ओ जे , ज मैं j ) 2 टी यू बी ( एक्स , एल ओ , एच आई $lo_j <= p_j <= hi_j$

$$\sum_i err_i(p)^2 + C * \sum_j tub( p_j, lo_j, hi_j )^2$$ $tub( x, lo, hi )$$max( lo - x, 0, x - hi )$

(विशेषज्ञ, कृपया टैग जोड़ें: "कम से कम वर्ग"?)

Comments

दंड कार्यों के साथ सख्त बाधाओं को प्रतिस्थापित करना संख्यात्मक अनुकूलन में एक सामान्य तकनीक है। ऐसा लगता है कि आप जो प्रस्ताव दे रहे हैं, वह उस प्रतिस्थापन का एक विशेष रूप है। आप सभी समान तकनीकों के बारे में पढ़ सकते हैं, जैसे, यहाँ: stanford.edu/~boyd/cvxbook

— डेविड केचेसन

आप बॉक्स की कमी (उदाहरण के लिए को संतुष्ट करने के लिए एक उपयुक्त पैरामीट्रिशन का उपयोग कर सकते हैं । एनएलएस सॉल्वर्स के संबंध में, लेवेनबर्ग-मार्क्वार्ड ज्यादातर समय पर्याप्त अच्छे होते हैं। , शायद एक वैश्विक स्टोकेस्टिक अनुकूलक के साथ संयुक्त एनालिंग जैसा। कुछ वाणिज्यिक टूलबॉक्स भी अनुकूली प्रतिक्रिया सतह मॉडल के आधार पर विश्वास क्षेत्र के तरीकों की पेशकश करते प्रतीत होते हैं, जो मेरे लिए लेवेनबर्ग-मार्क्वार्ड के एक उचित सामान्यीकरण जैसा दिखता है।$p$$p_i=\min(\max(lo_j, p'_j),hi_j)$

— थॉमस क्लिम्पेल

Answer 1

बाधाओं से छुटकारा पाने के लिए चुकता जुर्माना शब्द जोड़ना केवल आदेश 1 / दंड कारक की सटीकता प्रदान करने वाला एक सरल तरीका है। इसलिए यह उच्च सटीकता के लिए अनुशंसित नहीं है जब तक आप गणना के दौरान जुर्माना को अनन्तता तक नहीं जाने देते। लेकिन एक उच्च दंड कारक हेसियन को बहुत बीमार बना देता है, जो स्पष्ट रूप से बाधाओं को ध्यान में रखे बिना कुल सटीकता को प्राप्त करने योग्य बनाता है।

ध्यान दें कि बाध्य बाधाओं को सामान्य बाधाओं की तुलना में संभालना बहुत आसान है, जहाँ वे वस्तुतः दंड में परिवर्तित नहीं होते हैं।

सॉल्वर एल-बीएफजीएस-बी (लगभग 5-आयामी इतिहास के साथ प्रयोग किया जाता है) आमतौर पर दोनों उच्च आयामों में बाध्य विवश समस्याओं को बहुत मज़बूती से और तेजी से हल करता है। अपवाद उन समस्याओं पर गलत धारणा है जो समाधान से बहुत दूर हो सकते हैं, जहां वंश विधि के साथ अटकना आसान है।

हमने कई अलग-अलग आयामों में बहुत विविध कार्यों पर बहुत सारे प्रयोग किए हैं, कई अलग-अलग सॉल्वर उपलब्ध हैं, क्योंकि हमें अपने वैश्विक अनुकूलन सॉफ्टवेयर के हिस्से के रूप में बहुत मजबूत बाध्य-विवश सॉल्वर की आवश्यकता है। L-BFGS-B स्पष्ट रूप से सामान्य उद्देश्य विधि के रूप में खड़ा है, हालांकि sme समस्याओं पर निश्चित रूप से अन्य सॉल्वर काफी बेहतर प्रदर्शन करते हैं। इस प्रकार मैं पहली पसंद के रूप में एल-बीएफजीएस-बी की सिफारिश करूंगा, और एल-बीएफजीएस-बी आपकी समस्याओं के विशेष वर्ग को खराब होने की स्थिति में ही वैकल्पिक तकनीक की कोशिश करेगा।

Comments

L-BFGS IPOPT में उपलब्ध है, मैंने अपने उत्तर को संशोधित किया।

— अली

Answer 2

मैं बस सामान्य-उद्देश्य एनएलपी सॉल्वर IPOPT का उपयोग करूंगा । यह उन लोगों के बीच सबसे मजबूत सॉल्वर है, जिनकी मैंने कोशिश की है।

जब तक आपके पास कुछ बहुत ही विशेष आवश्यकताएं हैं, तब तक कोई कारण नहीं है कि आपको एक समस्या विशेष पर जोर देना चाहिए जो केवल बॉक्स-बाधाओं के साथ एनएलएस के लिए काम करता है।

आवश्यकताओं में बदलाव (जैसे कि अरेखीय अवरोधों को जोड़ना) एक समस्या को हल करने के साथ एक प्रमुख सिरदर्द का कारण होगा। सामान्य प्रयोजन के IPOPT का उपयोग करने पर आपको ऐसी कोई समस्या नहीं होगी।

---

अद्यतन: आप IPOPT के साथ एल-बीएफजीएस की कोशिश कर सकते हैं , प्रलेखन में क्वासी -न्यूटन के तहत देख सकते हैं।

IPOPT की उल्लेखनीय मजबूती को बिगाड़ने की कीमत पर समाधान प्रक्रिया तेज हो सकती है। मेरी राय में , यदि वे उपलब्ध हैं तो सटीक डेरिवेटिव का उपयोग करें। मैं केवल अनुमानों (जैसे एल-बीएफजीएस) के साथ गड़बड़ करना शुरू कर दूंगा, अगर मैंने प्रदर्शन के मुद्दों को साबित कर दिया।

Comments

मुझे नहीं पता कि IPOPT कितनी अच्छी तरह काम करता है, लेकिन आपका सुझाव मुझे डाउनहिल सिम्प्लेक्स विधि के अधिवक्ताओं द्वारा इसी तरह के बयानों की याद दिलाता है। क्योंकि नॉनलाइनियर कम से कम वर्ग एक सामान्य समस्या वर्ग है, इसलिए मौजूदा एनएलएस सॉल्वरों में से किसी एक का उपयोग करना अस्वीकार करना मेरे लिए थोड़ा संदिग्ध लगता है।

— थॉमस क्लिंपेल

@ThomasKlimpel खैर, डेनिस को हमें और जानकारी देनी चाहिए, फिर हम उन्हें सही सॉल्वर चुनने में मदद कर सकते हैं। :) या वह इसे अपने लिए जाँच सकता है और यह पता लगा सकता है कि कौन सा उसकी ज़रूरतों के लिए सबसे उपयुक्त है। IPOPT के साथ शुरू करने के लिए एक अच्छा विलायक लगता है।

— अली

@ क्या, आप कुछ "वास्तविक या यथार्थवादी परीक्षण मामलों" को इंगित कर सकते हैं?

— डेनिस 15

@ मैं कर सकता था, लेकिन मेरा ऐसा करने का कोई इरादा नहीं है, यह आपको ट्रैक से हटा देगा। एकमात्र बात यह है कि IPOPT आपकी समस्या को कैसे संभालता है । जब तक आपके पास कुछ बहुत विशेष आवश्यकताएं हैं, तब तक इसे अच्छी तरह से हल करना चाहिए। IPOPT में MATLAB, C ++, C, Fortran, R, AMPL, CUTEr के इंटरफेस हैं। एक इंटरफ़ेस चुनें और परीक्षण करें कि आपकी समस्या के साथ क्या होता है :) किसी समस्या को हल करने के लिए विशिष्ट सॉल्वर का परीक्षण आसान भी नहीं होगा।

— अली

@ थोमस क्लिम्पेल, मुझे लगता है कि मैं स्पष्ट नहीं था: मैं अस्वीकार नहीं कर रहा हूं, पैकेज के बारे में नहीं पूछ रहा हूं, लेकिन अंतर्दृष्टि या परीक्षण मामलों के लिए पूछ रहा हूं: यह तुच्छ विधि अच्छी तरह से काम क्यों नहीं कर सकती है?

— डेसीस

Answer 3

आर minpack.lm क्रैन पैकेज बॉक्स की कमी के साथ एक Levenberg-Marquardt कार्यान्वयन प्रदान करता है।

सामान्य तौर पर, लेवेनबर्ग-मार्क्वार्ट कम से कम वर्गों की समस्याओं के लिए एल-बीएफजीएस-बी की तुलना में बहुत बेहतर है। यह चुनौतीपूर्ण समस्याओं पर बेहतर (बहुत) अभिसरण करेगा। यह सामान्य उद्देश्य IPOPT की तुलना में बहुत तेज होगा, क्योंकि यह गैर-रैखिक न्यूनतम-वर्गों की समस्याओं के अनुरूप है।

आर पैकेज बाधाओं को लागू करने के लिए एक बहुत सीधा प्रक्षेपण दृष्टिकोण चुनता है ( स्रोत कोड देखें )। आपके द्वारा उपयोग किए जा रहे LM कार्यान्वयन के आधार पर, इसे शामिल करना सरल हो सकता है।

अब, एक परिवर्तन का उपयोग करने की टिप्पणियों में सुझाव, (उदाहरण के लिए पपड़ी में एक साइन ट्रांसफॉर्मेशन) भी आपके असंबंधित एलएम एल्गोरिदम को एक विवश में बदलने के लिए एक अच्छा, सरल विकल्प है। यदि याकूब विश्लेषणात्मक है, तो आपको जैकबियन में परिवर्तन को भी शामिल करना होगा।

Answer 4

(साल बाद) दो सॉल्वर जो बॉक्स की कमी को संभालते हैं:

• चौड़े डॉक के साथ स्काइप कम से कम 3 तरीके हैं:

  1. 'ट्रफ': ट्रस्ट रीजन रिफलेक्टिव
  2. 'Dogbox'
  3. 'lm': MINPACK के लिए एक लीगेसी रैपर, बॉक्स की कमी के बिना।
• सायरस

Comments

स्कैपी एक स्पष्ट रूप से कहता है कि लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म बॉक्स की कमी को संभाल नहीं सकता है।

— थैली