MLP के साथ संयोजन में लोग RBF या RBF का उपयोग क्यों नहीं करते?

Question

इसलिए जब रेडियल बेसिस फ़ंक्शन न्यूरल नेटवर्क्स को देखते हैं, तो मैंने देखा है कि लोग केवल 1 छिपी हुई परत के उपयोग की सलाह देते हैं, जबकि बहुपरत पर्सेप्ट्रॉन न्यूरल नेटवर्क के साथ अधिक परतों को बेहतर माना जाता है।

यह देखते हुए कि RBF नेटवर्क को पीछे प्रचार के संस्करण के साथ प्रशिक्षित किया जा सकता है, क्या कोई कारण है कि RBF नेटवर्क काम नहीं करेगा, या यह कि एक RBF परत का उपयोग किसी गहन MLP नेटवर्क में penultimate या पहली परत के रूप में नहीं किया जा सकता है? (मैं विचारशील परत सोच रहा था ताकि इसे अनिवार्य रूप से पिछली एमएलपी परतों द्वारा सीखी गई विशेषताओं पर प्रशिक्षित किया जा सके)

Comments

मैं एक एनएन विशेषज्ञ नहीं हूं, लेकिन मेरी धारणा है कि मानक फीड-फॉरवर्ड एनएन के साथ, कई छिपी हुई परतें आमतौर पर बहुत अधिक नहीं जोड़ती हैं।

— गुंग - को पुनः स्थापित मोनिका

यह एनएन अनुसंधान के पहले के दिनों में था, लेकिन अब अधिक परतें आमतौर पर अधिक प्रदर्शन (गहन सीखने) का नुस्खा है। मुझे लगता है कि वर्तमान पसंदीदा दृष्टिकोण एक स्मार्ट आरंभीकरण है, जितनी संभव हो उतनी परतें, संतृप्ति से बचने के लिए सिग्मोइडल सक्रियण के बजाय ड्रॉपआउट और सॉफ्टमैक्स के माध्यम से नियमितीकरण। (लेकिन मैं तकनीकों पर गलत हो सकता हूं)। मुझे लगता है कि कुछ लोग बेहतर परिणाम प्राप्त करने के लिए पुनरावृत्ति गहरीकरण का भी उपयोग करते हैं। साथ ही, Google को 2014 में इमेजनेट पर 100 लेयर नेटवर्क के साथ स्टेट ऑफ द आर्ट मिला।

— user1646196

Answer 1

मूलभूत समस्या यह है कि RBFs a) बहुत ग़ैर है, b) आयाम में कमी नहीं करते हैं।

क) के कारण आरबीएफ हमेशा ग्रेडिएंट डिसेंट की बजाय के-मीन्स द्वारा प्रशिक्षित होते थे।

मैं दावा करूंगा कि डीप एनएनएस में मुख्य सफलता कन्ट्रोकेट्स है, जहां एक महत्वपूर्ण भाग आयाम में कमी है: हालांकि 128x128x3 = 50,000 इनपुट के साथ काम करना, प्रत्येक न्यूरॉन में एक प्रतिबंधित ग्रहणशील क्षेत्र होता है, और प्रत्येक परत में बहुत अधिक न्यूरॉन्स होते हैं। । एक एमएलपी में एक दी गई परत- प्रत्येक न्यूरॉन एक विशेषता / आयाम का प्रतिनिधित्व करता है, इसलिए आप लगातार आयाम (परत से परत तक जाने में) को कम कर रहे हैं।

यद्यपि कोई आरबीएफ सहसंयोजक मैट्रिक्स अनुकूली बना सकता है और इसलिए आयाम में कमी करता है, इससे ट्रेन को और भी कठिन बना दिया जाता है।

Comments

मैंने हाल ही में एक पेपर पढ़ा जिसमें आरबीएफ नेटवर्क को प्रशिक्षित करने के लिए बैक-प्रोपगेशन एल्गोरिथम प्रस्तावित किया गया था। यह देखते हुए कि आरबीएफ को एक गहरे नेटवर्क में अंतिम परत के रूप में रखने में उनका लाभ हो सकता है? मुझे लगता है कि इस रूप में बाकी गहरे नेटवर्क अनिवार्य रूप से उन विशेषताओं का पता लगा रहे हैं जिन्हें

— आरबीएफ

शायद आपको कागज से लिंक करना चाहिए और फिर लोग अधिक सूचित जवाब दे सकते हैं। मुझे कोई लाभ नहीं दिखता ... यह देखते हुए कि आरबीएफ बहुत अधिक रैखिक नहीं है (और उदाहरण के लिए सिग्मोइड्स को रिले से बदल दिया गया है क्योंकि वे बहुत गैर-रैखिक-गायब ग्रेडिएंट थे ...)। लोग क्या करते हैं, शीर्ष पर मानक एमएलपी के साथ कन्ट नेट के साथ प्रशिक्षित किया जाता है, फिर एमएलएम को फेंक देते हैं और svm का उपयोग करते हैं

— seanv507

पेपर "चयनात्मक बैकप्रॉपैजेशन के साथ प्रशिक्षण आरबीएफ नेटवर्क" है यदि आप इसे यहां पढ़ नहीं सकते हैं या यदि कोई पेवल अनुभव किया हुआ है तो यह देखें । मुझे पता नहीं था कि गैर-रैखिकता के कारण सिग्मोइड्स को रिले से बदल दिया गया था, लेकिन यह देखते हुए कि मैं देख सकता हूं कि गैर-रैखिकता में वृद्धि कैसे दूर हो जाएगी। मैं जवाब को स्वीकृत के रूप में चिह्नित करूंगा :)

— user1646196