एक तंत्रिका नेटवर्क में परतों की इष्टतम संख्या?


13

तंत्रिका नेटवर्क (फीडफोर्वर्ड, बैक प्रोपगेशन या आरएनएन) को लागू करते समय बनाई जाने वाली परतों की इष्टतम संख्या कैसे तय करें?

जवाबों:


8

Pruningतंत्रिका नेटवर्क में एक तकनीक है, जिसका उपयोग केवल इसी उद्देश्य के लिए किया जाता है।

छिपी हुई परतों की संख्या पर छंटाई की जाती है। प्रक्रिया निर्णय पेड़ों की छंटाई प्रक्रिया के समान है। प्रूनिंग प्रक्रिया निम्नानुसार की जाती है:

  • एक बड़े, सघन रूप से जुड़े, एक मानक प्रशिक्षण एल्गोरिथ्म के साथ नेटवर्क को प्रशिक्षित करें
  • भार के सापेक्ष महत्व का आकलन करने के लिए प्रशिक्षित नेटवर्क की जांच करें
  • कम से कम महत्वपूर्ण वजन निकालें
  • छंटनी वाले नेटवर्क को पुनः प्राप्त करें
  • संतुष्ट होने तक चरण 2-4 दोहराएं

हालांकि, तंत्रिका जाल के छंटाई के लिए कई अनुकूलित तरीके हैं, और यह अनुसंधान का एक बहुत सक्रिय क्षेत्र भी है ।


एक सममित दृष्टिकोण नेटवर्क आर्किटेक्चर पर लागू सामान्य "ग्रिड खोज" है। छोटी (इतनी तेज़) शुरुआत करें, और स्वचालित रूप से बड़े आर्किटेक्चर का प्रयास करें। यह सब सिर्फ क्रूर बल है, हालांकि ...
एरिक प्लैटन

ग्रिड खोज के लिए @EricPlaton +1। हाइपरटुनिंग एमएल एल्गो में बहुत उपयोगी है। लेकिन, क्या यह कम्प्यूटेशनल रूप से बहुत गहन नहीं है?
Dawny33

1
हाँ, यह महंगा है। फिर भी, जब हम छोटे शुरू कर सकते हैं, तो पहले चरण बहुत तेजी से आगे बढ़ सकते हैं, और एक बेहतर विचार दे सकते हैं कि क्या करना है।
एरिक प्लैटन

@EricPlaton "ग्रिड सर्च" इसके लिए एक अलग जवाब देने के लायक होगा :)
Dawny33

मैंने इसके बारे में सोचा था, लेकिन फिर दो विकल्प होंगे और शायद "समान रूप से सही" उत्तर ... मैंने सोचा कि पाठक के लिए सबसे अच्छा जवाब एक के रूप में संकलित करना था।
एरिक प्लैटन

0

आप हाइपरपैरामीटर के एक समारोह के रूप में नुकसान (या कुछ भी) के अनुकूलन की एक सामान्य विधि के रूप में बायेसियन हाइपरपैरेट अनुकूलन पर एक नज़र डाल सकते हैं। लेकिन ध्यान दें कि सामान्य रूप से आपके नेटवर्क में गहराई से बेहतर, इसलिए परतों की संख्या के एक समारोह के रूप में नुकसान का अनुकूलन करना बहुत मजेदार बात नहीं है।

ग्रिड खोज और सामान्य ज्ञान का एक सा (जैसा कि कई उदाहरणों को देखकर सीखा गया) आपकी सर्वश्रेष्ठ शर्त होनी चाहिए।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.