आपने जो कहा, उसके आधार पर: मुझे लगता है कि आपको 50 चर के लिए अनुकूलन करना होगा; मैं यह भी मानता हूं कि आप एक ऐसी स्थिति बना रहे हैं कि यह विश्लेषणात्मक व्युत्पन्न खोजने के लिए बहुत महंगा है (चलो अकेले अंक प्राप्त करें) और यह कि आपका अनुकूलन अप्रतिबंधित है।
मुझे तनाव करने दें, आप 25-30 और 100 चरों के बीच थोड़ा सा अशुभ कारण हैं जब यह बड़े या छोटे पैमाने के अनुकूलन दिनचर्या के बीच चयन करने की बात आती है। हालांकि, कहा कि कुछ भी नहीं खोया है।
यह देखते हुए कि पहला ऑर्डर व्युत्पन्न भी महंगा है कि न्यूटन के तरीके के विचार को मार दिया जाए। यदि आप अपने हेसियन के साथ शुरू करने के लिए की तरह थोड़ा विकर्ण है, तो आप अर्ध-न्यूटन (BFGS) के साथ कुछ भाग्य हो सकता है। सीजी आमतौर पर बीएफजीएस की तुलना में थोड़ा धीमा है, इसलिए संभवत: चीजों में बहुत सुधार नहीं होगा; यदि स्मृति भी एक समस्या है (या बस उस स्थिति में L-BFGS के लिए जाएं) का उपयोग करें। इसके अतिरिक्त यह देखते हुए कि आपके कार्य का मूल्यांकन करना कितना धीमा है, एक साधारण से सरलतम वंश / रेखा खोज एल्गोरिथ्म यातनात्मक रूप से धीमा होगा; यही बातें सिमित एनालाइजिंग और अन्य रैंडम सर्च वेरिएंट के साथ जाती हैं (मेरा मानना है कि आपके पास एचएमसी और उस सभी जैज तक पहुंच नहीं है)।
इसलिए, जब आपको अपने हिरन के लिए सबसे अच्छे बैंग की आवश्यकता होती है, जब यह एकल फ़ंक्शन मूल्यांकन की बात आती है: पॉवेल की विधि के साथ जाएं और COBYIA का भी परीक्षण करें; एक विवश अनुकूलन एल्गोरिथ्म होने के बावजूद क्योंकि यह चीजों को गति देने के लिए आपके फ़ंक्शन के ढाल को आंतरिक रूप से रैखिक करेगा, यह आपके फ़ंक्शन की रैखिकता का लाभ उठाने में सक्षम होगा। इसके अलावा निश्चित रूप से अजगर के लिए NLopt का प्रयास करें । उनके पास बहुत सारे ग्रेडिएंट-फ्री ऑप्टिमाइज़र हैं; UOBYQA का प्रयास करें; यह पावेल के दिमाग की उपज है (द्विघात दृष्टिकोण से असंबंधित अनुकूलन)।
बहुत संक्षेप में: एन-सीजी एल्गोरिदम हेसियन की गणना पर निर्भर करता है, और आपका हेसियन गणना करने के लिए बहुत महंगा लगता है। एनएलसीजी और बीएफजीएस को इसकी आवश्यकता नहीं है, हालांकि यह अपने पहले चरण में एक बार गणना करने की कोशिश कर सकता है।
मैंने सिम्पलेक्स अल्गोरिथम को उद्देश्य पर छोड़ दिया क्योंकि यह बिल्कुल अलग जानवर है; ग्रेडिएंट्स के साथ ऐसा करने के लिए कुछ भी नहीं। यह कोशिश करो, लेकिन मैं वास्तव में इस पर टिप्पणी नहीं कर सकता; यह वास्तव में आपकी समस्या की प्रकृति पर निर्भर है।
संख्यात्मक अनुकूलन पर पहले अच्छे संदर्भ के लिए अनुकूलन के लिए CTKelly की पुस्तक Iterative Methods आपको काफी दूर, काफी अच्छी तरह से मिल जाएगी।