गतिशील रूप से एनएन वास्तुकला को समायोजित करना: अनावश्यक का आविष्कार करना?


9

मैं अपनी पीएचडी यात्रा शुरू कर रहा हूं, और जो अंतिम लक्ष्य मैंने खुद से पहले निर्धारित किया है वह एएनएन विकसित कर रहा है जो उस वातावरण की निगरानी करेगा जो वे काम करते हैं और गतिशील रूप से हाथ में समस्या के लिए अपनी वास्तुकला को समायोजित करते हैं। स्पष्ट निहितार्थ डेटा की अस्थायीता है: यदि डेटा सेट निरंतर नहीं है और समय के साथ नहीं बदलता है, तो क्यों समायोजित किया जाता है?

बड़ा सवाल यह है: हाल ही में गहन शिक्षा के उदय के साथ, क्या यह अभी भी एक प्रासंगिक विषय है? क्या FFNN अपने आप को अवधारणा बहाव समस्याओं में एक आला खोजने का मौका देते हैं?

मुझे बहुत अधिक सवाल के साथ धागा को ओवरलोड करने का डर है, लेकिन यह एक पूरी तरह से विषय नहीं है: मुझे आरएनएन के बारे में पता है, लेकिन मेरे पास उनके साथ सीमित (ठीक है, कोई नहीं, या विशुद्ध रूप से सैद्धांतिक) अनुभव है; मेरा मानना ​​है कि आरएनएन के संदर्भ में गतिशील वास्तुकला अनुकूलन एक प्रासंगिक विषय होना चाहिए। सवाल यह है कि क्या इसका जवाब पहले ही दिया जा चुका है, और क्या मैं पहिया को फिर से मजबूत करूंगा?

PS क्रॉस- मेटाटाइप्ट में पोस्ट किया गया


जब आप कहते हैं "उनकी वास्तुकला को समायोजित करें" तो क्या आप का मतलब है मापदंडों (वजन, पक्षपात) या नेटवर्क की वास्तविक संरचना को अपडेट करना (छिपे हुए नोड्स, सक्रियण फ़ंक्शन, कनेक्टिविटी, आदि)? इसके अलावा, कई गहरे शिक्षण अनुप्रयोगों में अंतिम परिणाम एक फ़ीड फॉरवर्ड न्यूरल नेटवर्क होता है, जो कि कुछ अनियोजित प्रक्रिया द्वारा आरंभिक भार के साथ होता है।
ऑल्टो

@alto, मैं वास्तविक एनएन संरचना - छिपी इकाइयों की संख्या और (संभवतः) परतों की बात कर रहा हूं - मुझे यकीन है कि इसे जटिलता के विभिन्न स्तरों पर लागू किया जा सकता है। मुझे लगता है कि अगर मुझे कहीं भी जाना है, तो मुझे गहरी शिक्षा पर पढ़ना शुरू करना होगा।
अनना-इयरवेन

@ अन्ना-इवने दिलचस्प पीएचडी विषय, यह कैसे चल रहा है, अभी तक कोई भी प्रकाशन?
डिक्रान मार्सुपियल

1
@ डिकन मार्सुपियल, मैं जल्द ही IJCNN 2014 में बात करूंगा कि पीएसओ उच्च-आयामी एनएन को प्रशिक्षित करने में कैसे और क्यों विफल रहता है। तो जवाब हाँ है और पता है: मैंने मूल शोध वेक्टर से एक बड़ा चक्कर लिया, और मुझे आश्चर्य है कि क्या मैं अभी भी समायोज्य आर्किटेक्चर पर वापस आऊंगा। केवल समय और अनुभवजन्य परिणाम बताएंगे!
अनना-इयरवेन

मैं कार्यवाही में इसके लिए बाहर देखूंगा - यह समझना कि चीजें काम क्यों नहीं करती हैं, विज्ञान कुछ और (और ठोस अनुभवजन्य अध्ययन) की आवश्यकता है।
डिक्रान मार्सुपियल

जवाबों:


6

कैस्केड-सहसंबंध तंत्रिका नेटवर्क प्रशिक्षण प्रक्रिया के दौरान छिपे हुए नोड्स को जोड़कर उनकी संरचना को समायोजित करते हैं, इसलिए यह शुरू करने का स्थान हो सकता है। मैंने देखा है कि अन्य कार्यों में से अधिकांश ने तंत्रिका नेटवर्क के विकास एल्गोरिदम का उपयोग करके स्वचालित रूप से परतों की संख्या, छिपे हुए नोड्स की संख्या आदि को समायोजित किया है।

दुर्भाग्य से, यह काम मेरे क्षेत्र से बाहर है, इसलिए मैं आपको शुरू करने में मदद करने के लिए किसी विशेष कागजात या संदर्भ की सिफारिश नहीं कर सकता। मैं आपको बता सकता हूं कि मैंने ऐसा कोई काम नहीं देखा है, जो गहन शिक्षण समुदाय के भीतर नेटवर्क संरचना और मापदंडों को एक साथ संयुक्त रूप से अनुकूलित करने की कोशिश करता है। वास्तव में, अधिकांश गहरे शिक्षण आर्किटेक्चर एक समय में एक ही परत को सीखने के लालच पर आधारित होते हैं, इस प्रकार गहरी तंत्रिका नेटवर्क के ऑनलाइन सीखने को भी एक अछूता क्षेत्र (मार्टेंस एट अल का काम। हेसियन फ्री ऑप्टिमाइजेशन एक उल्लेखनीय अपवाद नहीं है) बना रहे हैं।


बहुत बहुत धन्यवाद, आपने पहले ही मुझे सोने के लिए खुदाई शुरू करने के लिए पर्याप्त जानकारी दी थी। :)
20-

2

रचनात्मक तंत्रिका नेटवर्क (जैसे कि सीसी एल्गोरिथ्म @ाल्टो का उल्लेख किया गया) के लिए उपन्यास के दृष्टिकोण पर विचार करने का एक और कारण आँकड़ों के बाहर के अनुप्रयोगों में है । विशेष रूप से, सैद्धांतिक तंत्रिका विज्ञान और संज्ञानात्मक विज्ञान में, रचनात्मक तंत्रिका नेटवर्क का उपयोग अक्सर विकास और तंत्रिकाजन्य के लिए एक समान समानता के कारण किया जाता है। इसके लिए कैस्केड-सहसंबंध के भारी उपयोग के उदाहरण के लिए, थॉमस आर। शुल्त्ज़ के प्रकाशनों पर एक नज़र डालें । दुर्भाग्य से, कैस्केड सहसंबंध दृष्टिकोण जैविक अवास्तविक है और अगर आपके पास एक तंत्रिका विज्ञान मोड़ है, तो यह विचार करने के लायक है कि कैसे समायोज्य वास्तुकला के साथ नए एनएन को विकास और / या न्यूरोजेनेसिस के बेहतर मॉडल के रूप में इस्तेमाल किया जा सकता है।


1
धन्यवाद, आर्टेम! वास्तव में, मैं किसी भी चीज़ की तुलना में एक शुद्ध कंप्यूटर वैज्ञानिक से अधिक हूं, इस प्रकार न्यूरो- और संवहन विज्ञान का मेरा ज्ञान दुर्लभ से कम है। रोमांचक लगता है, हालांकि, और चूंकि सभी सड़कें अभी भी खुली हैं, इसलिए मैं इसमें भी तल्लीन हो सकता हूं - कम से कम कुछ हद तक। फिलहाल मैं विशेष रूप से वास्तविक जीवन इंजीनियरिंग और डेटा विश्लेषण समस्याओं के अनुप्रयोगों में रुचि रखता हूं जो बेंचमार्किंग के लिए काम कर सकते हैं।
अनाना-इयरवेन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.