तंत्रिका नेटवर्क अपनी टोपोलॉजी पर लगाए गए प्रतिबंधों के साथ बेहतर प्रदर्शन क्यों करते हैं?

Question

पूरी तरह से जुड़ा हुआ (कम से कम परत के साथ 2 से अधिक छिपी हुई परतें) बैकप्रॉप नेटवर्क सार्वभौमिक शिक्षार्थी हैं। दुर्भाग्य से, वे अक्सर सीखने के लिए धीमा होते हैं और ओवर-फिट होते हैं या अजीब सामान्यीकरण होते हैं।

इन नेटवर्कों के साथ बेवकूफ बनाने से, मैंने देखा है कि कुछ किनारों को छंटनी (ताकि उनका वजन शून्य और बदलने में असंभव हो) नेटवर्क को तेजी से सीखने और बेहतर सामान्य बनाने के लिए जाता है। क्या इसका कोई कारण है? क्या यह केवल वेट सर्च स्पेस के आयाम में कमी के कारण है, या कोई और अधिक सूक्ष्म कारण है?

इसके अलावा, क्या बेहतर सामान्यीकरण 'प्राकृतिक' समस्याओं की एक कलाकृति है जिसे मैं देख रहा हूं?

Answer 1

कम नोड्स / किनारों (या निश्चित वजन के साथ किनारों) का मतलब है कि कम पैरामीटर हैं जिनके मूल्यों को खोजने की आवश्यकता है, और यह आमतौर पर सीखने का समय कम कर देता है। इसके अलावा, जब कम पैरामीटर होते हैं , तो तंत्रिका नेटवर्क द्वारा व्यक्त किए जाने वाले स्थान के आयाम कम होते हैं, इसलिए तंत्रिका नेटवर्क केवल अधिक सामान्य मॉडल व्यक्त कर सकता है। यह इस प्रकार डेटा को ओवर-फिटिंग करने में कम सक्षम है, और इसलिए मॉडल अधिक सामान्य प्रतीत होंगे।

Answer 2

किनारों को काटकर आपने प्रशिक्षण एल्गोरिथ्म के लिए खोज स्थान कम कर दिया है, जिसमें समय प्रदर्शन में तत्काल भुगतान होगा। आपने उन कार्यों पर भी बाधाएँ पेश की हैं जिन्हें नेटवर्क मॉडल कर सकता है। बाधाएं आपके मॉडल को अधिक सामान्य समाधान खोजने के लिए मजबूर कर सकती हैं क्योंकि अधिक सटीक एक पहुंच से बाहर है। तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक सामान्य तकनीक एक ढाल वंश तकनीक का उपयोग कर रही है। प्रूनिंग का एक और परिणाम यह हो सकता है कि आपने पैरामीटर परिदृश्य में कुछ स्थानीय मिनीमा को समाप्त कर दिया है जो फिर से प्रशिक्षण एल्गोरिथ्म को बेहतर समाधान खोजने की अनुमति देता है।

मुझे आश्चर्य नहीं होगा यदि आपका बेहतर सामान्यीकरण उन समस्याओं से संबंधित है जिन्हें आप देख रहे हैं। मैंने तंत्रिका नेटवर्क के साथ सफलता का आनंद लिया है जहां अंतर्निहित मॉडल में एक निरंतर संरचना होती है, जबकि ऐसे मामले जहां असंतोष की चीजें होती हैं वे इतनी अच्छी तरह से काम नहीं करती थीं। यह भी ध्यान रखें कि तंत्रिका नेटवर्क का प्रदर्शन अक्सर इस बात से संबंधित होता है कि आप किस तरह से इनपुट और आउटपुट देते हैं।