मेरी समझ से, जेनेटिक एल्गोरिदम बहुउद्देश्यीय अनुकूलन के लिए शक्तिशाली उपकरण हैं।
इसके अलावा, न्यूरल नेटवर्क (विशेष रूप से गहरे वाले) को प्रशिक्षित करना कठिन है और इसमें कई मुद्दे हैं (गैर-उत्तल लागत कार्य - स्थानीय मिनीमा, लुप्त और विस्फोट ग्रेडर आदि)।
इसके अलावा, मैं वैचारिक रूप से एनए को जीए के साथ प्रशिक्षित कर रहा हूं। मैं सोच रहा था, वे व्यवहार में उपयोग क्यों नहीं कर रहे हैं? क्या यह प्रदर्शन की बात है?
जवाबों:
जेनेटिक एलगोरिदम (GAs) के साथ प्रशिक्षण तंत्रिका नेटवर्क (NNs) न केवल संभव है, कुछ आला क्षेत्र भी हैं जहां प्रदर्शन अक्सर उपयोग किए जाने के लिए पर्याप्त है। इसका एक अच्छा उदाहरण टोपोलॉजी या एनईएटी को बढ़ाने का न्यूरोएवोल्यूशन है , जो गेम जैसे सरल वातावरण में नियंत्रक पैदा करने के लिए एक सफल दृष्टिकोण है।
हालांकि अधिक सामान्य मामले में, दृष्टिकोण बड़े, गहरे नेटवर्क के साथ कई मापदंडों के अनुरूप नहीं है।
इष्टतम मापदंडों के लिए जेनेटिक एल्गोरिदम और अन्य वैश्विक खोजें उन तरीकों से अधिक मजबूत हैं जो ढाल-आधारित एल्गोरिदम नहीं हैं। उदाहरण के लिए, आप चरण फ़ंक्शन सक्रियण या किसी अन्य गैर-भिन्न सक्रियण फ़ंक्शन के साथ एक एनएन को प्रशिक्षित कर सकते हैं। उनकी कहीं और कमजोरियां हैं। एनएएन के लिए उपयोग किए जाने वाले जीए के मामले में प्रासंगिक एक बात यह है कि कुछ संयोजनों में भार पैरामीटर विनिमेय हैं लेकिन अन्य संयोजनों में भारी सह-निर्भर हैं। अलग-अलग मापदंडों के साथ दो समान रूप से अच्छे तंत्रिका नेटवर्क को जोड़ना - जो आप जीए में क्रॉस-ओवर में करेंगे - आमतौर पर खराब प्रदर्शन के साथ तीसरे नेटवर्क में परिणाम होगा। एनईएटी की सफलता आंशिक रूप से एनएन के कनेक्शनों को "बढ़ने" और उन्हें समान तंत्रिका नेटवर्क के बीच मिलान करने के द्वारा उस मुद्दे को संबोधित करने का एक तरीका खोजने में है।
ग्रेडिएंट-आधारित दृष्टिकोण बहुत अधिक कुशल हैं। सामान्य तौर पर, और केवल एनएन के डोमेन में नहीं, यदि आप मापदंडों के संबंध में किसी फ़ंक्शन के ग्रेडिएंट की गणना कर सकते हैं, तो आप अधिकांश अन्य अनुकूलन तकनीकों की तुलना में इष्टतम पैरामीटर तेजी से पा सकते हैं। एक सटीक ढाल एक मूल्यांकन से कम से कम एक छोटे से सुधार की गारंटी देता है, और अधिकांश अन्य ऑप्टिमाइज़र एक जनरेट-एंड-रिट्री प्रतिमान में आते हैं जो इस तरह की गारंटी नहीं दे सकता है। स्थानीय ऑप्टिमा को खोजने की प्रवृत्ति कमजोर पड़ गई है, एनएन में नुकसान के कार्यों के लिए एक बड़ी बाधा नहीं है, और बुनियादी ग्रेडिएंट जैसे गति, आरपीआरओपी, एडम आदि के लिए एक्सटेंशन का उपयोग करके कुछ हद तक सफलता के साथ सामना किया गया है।
एक बड़े मल्टी-लेयर नेटवर्क पर अभ्यास में, जीए खोजों जैसे नेटवर्क मापदंडों को खोजने के लिए ढाल विधियों की संभावना तेजी से होती है। आपको कोई GA-प्रशिक्षित CNNs नहीं मिलेगा जो ImageNet, या यहां तक कि MNIST को हल करता हो, जहां GA ने नेटवर्क वेट्स को बिना खोजे पाया है। हालांकि, जीएएस, या उनमें से कम से कम कुछ वेरिएंट, 100% से इनकार नहीं कर रहे हैं। उदाहरण के लिए इस 2017 ब्लॉग में हाल ही में पेपर की समीक्षा की गई है जिसमें लार्ज-स्केल इवोल्यूशन ऑफ़ इमेज क्लासिफायर शामिल हैं जो एनए हाइपरपरमेटर्स की खोज करने के लिए जीएएस का उपयोग करते हैं जो मशीन लर्निंग में एक महत्वपूर्ण कार्य है, और ग्रेडिएंट-आधारित विधियों का उपयोग करके बहुत ही ट्रैक्टेबल नहीं है।
असल में, Google ब्रेन ने पहले ही इमेज क्लासिफायर के लिए समान काम किया था
फिर भी, उनका शोध नेटवर्क को प्रशिक्षित करने के लिए बैकप्रॉपैगैनेशन का उपयोग करता है, लेकिन वे एक अच्छे आर्किटेक्चर को खोजने के लिए आनुवंशिक एल्गोरिदम का उपयोग करते हैं। उल्लेख करने के लिए एक और बात: उनके सबसे अच्छे मॉडल को पाने के लिए - इसके लिए उन्हें भारी मात्रा में संगणना शक्ति की आवश्यकता थी।
उन्होंने 2017 में पहला पेपर प्रकाशित किया और 2018 में एक बेहतर संस्करण प्राप्त किया । आप इसके बारे में उनके ब्लॉग-पोस्ट में पढ़ सकते हैं
नेटवर्क आर्किटेक्चर खोज के लिए एक और शोध है , लेकिन वे आनुवंशिक एल्गोरिदम के बजाय बायेसियन अनुकूलन का उपयोग करते हैं