क्या मॉड्यूलर न्यूरल नेटवर्क किसी भी कार्य में बड़े, अखंड नेटवर्क से अधिक प्रभावी हैं?


16

मॉड्यूलर / मल्टीपल न्यूरल नेटवर्क (MNN) छोटे, स्वतंत्र नेटवर्क के प्रशिक्षण के इर्द-गिर्द घूमते हैं, जो एक दूसरे या किसी अन्य उच्च नेटवर्क में फीड कर सकते हैं।

सिद्धांत रूप में, पदानुक्रमित संगठन हमें अधिक जटिल समस्या वाले स्थानों की समझ बनाने और उच्च कार्यक्षमता तक पहुंचने की अनुमति दे सकता है, लेकिन इस संबंध में अतीत में किए गए ठोस अनुसंधान के उदाहरणों को खोजना मुश्किल है। मुझे कुछ स्रोत मिले हैं:

https://en.wikipedia.org/wiki/Modular_neural_network

https://www.teco.edu/~albrecht/neuro/html/node32.html

https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y

मेरे पास कुछ ठोस प्रश्न हैं:

  • क्या MNN के उपयोग में कोई हालिया शोध हुआ है?

  • क्या ऐसे कोई कार्य हैं जहाँ MNN ने बड़े एकल जालों की तुलना में बेहतर प्रदर्शन किया है?

  • क्या MNNs का उपयोग मल्टीमॉडल वर्गीकरण के लिए किया जा सकता है, अर्थात प्रत्येक नेट को मौलिक रूप से भिन्न प्रकार के डेटा, (पाठ बनाम छवि) पर प्रशिक्षित किया जाता है और सभी आउटपुट पर संचालित होने वाले उच्च स्तर के मध्यस्थ के लिए फ़ीड किया जाता है?

  • एक सॉफ्टवेयर इंजीनियरिंग के नजरिए से, ये अधिक गलत सहिष्णु नहीं हैं और एक वितरित प्रणाली पर आसानी से अलग-थलग हैं?

  • क्या तंत्रिका वास्तुकला खोज जैसी प्रक्रिया का उपयोग करके सबनेटवर्क के टोपोलॉजी को गतिशील रूप से अपनाने का कोई काम किया गया है?

  • आम तौर पर, MNN किसी भी तरह से व्यावहारिक हैं?

क्षमा याचना यदि ये प्रश्न अनुभवहीन लगते हैं, तो मैं अभी जीव विज्ञान / तंत्रिका विज्ञान पृष्ठभूमि से एमएल और अधिक मोटे तौर पर सीएस में आया हूं और संभावित इंटरप्ले द्वारा मोहित हूं।

मैं वास्तव में आपको समय देने और आपकी अंतर्दृष्टि को उधार देने की सराहना करता हूं!


मैंने प्रदर्शन को बेहतर बनाने के लिए इस तरह के एक मॉड्यूलर प्रणाली के कार्यान्वयन के बारे में सोचा था, और निश्चित रूप से - इनपुट पर अनावश्यक निर्भरता। यह एक यूरेका पल था सोचा था, लेकिन यह पहले से ही एक स्थापित संरचना था पता नहीं था।
तोबी

जवाबों:


2

इस विषय को लेकर वास्तव में प्रगति की जांच चल रही है। पिछले मार्च से एक पहले प्रकाशन ने उल्लेख किया है कि कुछ समय पहले स्पष्ट रूप से, हालांकि स्पष्ट रूप से नहीं किया गया है, लेकिन किसी भी तरह से प्रशिक्षण अखंड है। यह पत्र इस मामले के बारे में कुछ प्राथमिक प्रश्नों का आकलन करता है और प्रशिक्षण के समय और मॉड्यूलर और भारी आवर्तक तंत्रिका नेटवर्क पर प्रदर्शन की तुलना करता है। देख:

कुछ अन्य लोग बहुत अधिक मात्रा में ध्यान केंद्रित करते हैं, लेकिन अखंड प्रशिक्षण के साथ रहना (देखें जैकब एंड्रिया के शोध , विशेष रूप से कारण के लिए सीखना आपके तीसरे प्रश्न से बहुत संबंधित है)। 2019 के अंत में और अगले साल मार्च के बीच में, और अधिक परिणाम होने चाहिए (मुझे पता है)।

आपके दो अंतिम प्रश्नों के संबंध में, हम अब यह देखना शुरू कर रहे हैं कि सामान्यीकरण के लिए प्रतिरूपकता एक प्रमुख कुंजी है। मुझे आपको कुछ कागजात देने की सलाह देते हैं (आप उन्हें arxiv या google scholar में पा सकते हैं):

  • स्टोचैस्टिक एडेप्टिव न्यूरल आर्किटेक्चर सर्च फॉर कीवर्ड स्पॉटिंग (एक आर्किटेक्चर की विविधताएं प्रदर्शन और संसाधन उपयोग को संतुलित करने के लिए)।

  • रिकर्सियन के माध्यम से न्यूरल प्रोग्रामिंग आर्किटेक्चर को सामान्य बनाना (वे टास्क सबमॉड्यूलरिटी करते हैं और मेरा मानना ​​है कि यह पहली बार है कि तंत्रिका नेटवर्क के क्षेत्र में सामान्यीकरण की गारंटी है)।

  • गहरी तंत्रिका नेटवर्क और पेड़ खोज (नेटवर्क टोपोलॉजी वास्तव में खोज पेड़ ही है, के साथ खेल को माहिर करना, आप ग्राफ तंत्रिका नेटवर्क के लिए देख सकते हैं, तो आप इसे अधिक देख सकते हैं)।


1

एकल गहरी नेटवर्कों के सापेक्ष अलग-अलग प्रशिक्षित नेटवर्कों से युक्त प्रणालियों की एक बेंचमार्क तुलना संभवतः सार्वभौमिक रूप से लागू सर्वोत्तम विकल्प को प्रकट नहीं करेगी। 1 हम साहित्य में बड़ी प्रणालियों की संख्या में वृद्धि देख सकते हैं जहां कई कृत्रिम नेटवर्क संयुक्त हैं, अन्य प्रकार के घटकों के साथ। यह उम्मीद की जानी है। सिस्टम में जटिलता बढ़ने और प्रदर्शन और क्षमता बढ़ने पर मॉडर्नाइजेशन उतना ही पुराना है जितना कि औद्योगीकरण।

हमारी प्रयोगशाला रोबोट नियंत्रण, थर्मोडायनामिक इंस्ट्रूमेंटेशन और डेटा विश्लेषण के साथ काम करती है, कृत्रिम नेटवर्क इन बड़े सिस्टम संदर्भों में घटक हैं। हमारे पास कोई एकल MLP या RNN नहीं है जो स्वयं कोई उपयोगी कार्य करता है।

दशकों पहले पदानुक्रम के बारे में अनुमान के विपरीत, टोपोलॉजी दृष्टिकोण जो ज्यादातर मामलों में अच्छी तरह से काम करता है, अधिक सामान्य सिस्टम मॉड्यूल संबंधों का अनुसरण करता है जो बिजली संयंत्रों, स्वचालित कारखानों, वैमानिकी, उद्यम सूचना आर्किटेक्चर और अन्य जटिल इंजीनियर कृतियों में देखे जाते हैं। कनेक्शन प्रवाह के हैं, और यदि वे अच्छी तरह से डिज़ाइन किए गए हैं, तो ओवरसाइट फ़ंक्शन न्यूनतम हैं। प्रवाह संचार के लिए प्रोटोकॉल से जुड़े मॉड्यूल के बीच होता है, और प्रत्येक मॉड्यूल अपने कार्य को अच्छी तरह से करता है, जो निचले स्तर की जटिलता और कार्यात्मक विस्तार को घेरता है। यह एक ऐसा नेटवर्क नहीं है जो वास्तविक अभ्यास में सबसे प्रभावी लेकिन संतुलन और सहजीवन के रूप में उभरता हुआ प्रतीत होता है। मानव मस्तिष्क में स्पष्ट मास्टर-दास डिजाइन की पहचान समान रूप से फिसलन लगती है।

चुनौती उन सूचना रास्तों को नहीं पा रही है जो सिस्टम की जानकारी टोपोलॉजी बनाते हैं। समस्या के विश्लेषण पर सूचना प्रवाह अक्सर स्पष्ट होता है। इन स्वतंत्र नेटवर्कों को प्रशिक्षित करने के लिए सर्वोत्तम रणनीतियों की खोज में कठिनाई है। प्रशिक्षण निर्भरताएं सामान्य और अक्सर महत्वपूर्ण होती हैं, जबकि जानवरों में, प्रशिक्षण सीटू या बिल्कुल नहीं होता है । हम ऐसी परिस्थितियों की खोज कर रहे हैं जिनके तहत हमारे सिस्टम में इस तरह का सीखना व्यावहारिक है और इसे कैसे प्राप्त किया जा सकता है। इन पंक्तियों के साथ हमारे अधिकांश शोध का उद्देश्य इसे प्राप्त करने के लिए अनुसंधान घंटे के संदर्भ में उच्च विश्वसनीयता और कम बोझ को प्राप्त करने के तरीकों की खोज करना है।

उच्च कार्यक्षमता हमेशा लाभ की नहीं होती है। यह अक्सर कम विश्वसनीयता पैदा करता है और थोड़े से रिटर्न के साथ अतिरिक्त विकास संसाधनों का उपभोग करता है। एक विकास प्रक्रिया में उच्च स्तर के स्वचालन, संसाधन की बचत और विश्वसनीयता से शादी करने का एक तरीका खोजें, और आप वेब के चारों ओर एक पुरस्कार और सम्मानजनक उल्लेख जीत सकते हैं।

समान उद्देश्य वाले समानांतर सिस्टम एक अच्छा विचार है, लेकिन एक नया नहीं है। एक वैमानिकी प्रणाली में, नौ समानांतर प्रणालियों का एक ही उद्देश्य होता है, तीन के समूहों में। प्रत्येक समूह एक अलग कंप्यूटिंग दृष्टिकोण का उपयोग करता है। यदि एक ही दृष्टिकोण का उपयोग करने वाले दो सिस्टम समान आउटपुट प्रदान करते हैं और तीसरा भिन्न होता है, तो मिलान आउटपुट का उपयोग किया जाता है और तीसरे में अंतर को सिस्टम गलती के रूप में रिपोर्ट किया जाता है। यदि दो अलग-अलग दृष्टिकोण समान परिणाम प्रदान करते हैं और तीसरा पर्याप्त रूप से भिन्न होता है, तो दो समान परिणामों के एक मर्ज का उपयोग किया जाता है और तीसरे को असंतुष्ट दृष्टिकोण को और विकसित करने के लिए उपयोग के मामले के रूप में रिपोर्ट किया जाता है।

बेहतर गलती सहिष्णुता की लागत, आठ और प्रणालियां और संबद्ध कंप्यूटिंग संसाधन और कनेक्टिविटी और पूंछ पर तुलनित्र हैं, लेकिन उन प्रणालियों में जो जीवन और मृत्यु का मामला हैं, अतिरिक्त लागत का भुगतान किया जाता है और विश्वसनीयता को अधिकतम किया जाता है।

गतिशील सामयिक अनुकूलन निरर्थक प्रणालियों और दोष सहिष्णुता से संबंधित है, लेकिन कुछ मायनों में काफी अलग है। विकास के उस क्षेत्र में, पालन करने की तकनीक न्यूरोमॉर्फिक कंप्यूटिंग है, जो आंशिक रूप से न्यूरोप्लास्टिक से प्रेरित है।

विचार करने के लिए एक अंतिम अंतर प्रक्रिया टोपोलॉजी, डेटा टोपोलॉजी और हार्डवेयर टोपोलॉजी के बीच है। ये तीन ज्यामितीय फ़्रेम एक साथ अधिक दक्षता उत्पन्न कर सकते हैं यदि विशिष्ट तरीकों से गठबंधन किया जाए जो प्रवाह, प्रतिनिधित्व और यांत्रिकी के बीच संबंधों के बीच अधिक प्रत्यक्ष मैपिंग का उत्पादन करते हैं। हालांकि, वे अलग टोपोलॉजी हैं। संरेखण का अर्थ इन अवधारणाओं और विशिष्ट उत्पाद या सेवा के उद्देश्यों के लिए उभरने वाले विवरणों में गहराई से गोता लगाने के बिना स्पष्ट नहीं हो सकता है।

फुटनोट

[१] डीप नेटवर्क जिन्हें एक एकल इकाई के रूप में प्रशिक्षित किया जाता है और अन्य कृत्रिम नेटवर्क से कनेक्टिविटी के बिना कार्य आवश्यक रूप से अखंड नहीं हैं। अधिकांश व्यावहारिक गहरे नेटवर्क में उनके सक्रियण कार्यों और अक्सर उनके सेल प्रकारों के संदर्भ में परतों का विषम अनुक्रम होता है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.