जवाबों:
ग्रिड की खोज धीमी है क्योंकि यह हाइपर-पैरामीटर सेटिंग्स की जांच में बहुत समय बिताता है जो कि इष्टतम के पास नहीं हैं। एक बेहतर समाधान नेल्डर-मीड सिम्पलेक्स एल्गोरिथ्म है , जिसमें ढाल की जानकारी की गणना की आवश्यकता नहीं है और इसे लागू करने के लिए सीधा है (विकिपीडिया पृष्ठ पर पर्याप्त जानकारी होनी चाहिए)। वीका टूलबॉक्स में कुछ जावा कोड भी हो सकते हैं , हालांकि मैं MATLAB में काम करता हूं और किसी भी महान विवरण में वीका को नहीं देखा है।
SMO हाइपर-पैरामीटर्स के बजाय मॉडल पैरामीटर खोजने के लिए एक एल्गोरिथ्म है।
नेल्डर-मीड सिम्पलेक्स विधि एक साधारण ग्रिड खोज के रूप में कई फ़ंक्शन मूल्यांकन शामिल कर सकती है। आमतौर पर त्रुटि सतह इष्टतम पैरामीटर मानों के लिए पर्याप्त चिकनी होती है जो मोटे ग्रिड खोज के बाद छोटे क्षेत्र में बारीक होती है।
यदि आप सी और गामा के क्रमिक आधारित अनुकूलन में रुचि रखते हैं, तो त्रिज्या-मार्जिन सीमा के अनुकूलन या सत्यापन सेट पर त्रुटि दर का अनुकूलन करने जैसी विधियां हैं। उद्देश्य फ़ंक्शन के ग्रेडिएंट की गणना में एक एसवीएम ट्रेन जैसी कोई चीज़ शामिल है लेकिन एक साधारण ग्रेडिएंट वंश में केवल कुछ दर्जन पुनरावृत्तियों शामिल हो सकते हैं। ( एक लेख और एक माटलैब कार्यान्वयन के लिए http://olivier.chapelle.cc/ams/ देखें ।)
यहाँ आपके प्रश्न से संबंधित एलेक्स स्मोला के ब्लॉग में एक प्रविष्टि है
यहाँ एक उद्धरण है:
[...] उठाएं, अपने डेटासेट से यादृच्छिक रूप से 1000 जोड़े (x, x ') कहें, ऐसी सभी जोड़ियों की दूरी की गणना करें और माध्यिका, 0.1 और 0.9 का मान लें। अब इन तीनों संख्याओं में से किसी का व्युत्क्रम होने के लिए λ चुनें। थोड़ा सा क्रॉसवैलिडेशन के साथ आप यह पता लगा लेंगे कि तीन में से कौन सा सबसे अच्छा है। ज्यादातर मामलों में आपको कोई और खोज करने की आवश्यकता नहीं होगी।