क्या तंत्रिका-नेटवर्क डिजाइन करने के लिए एक अंगूठे का नियम है?

Question

मुझे पता है कि एक तंत्रिका-नेटवर्क वास्तुकला ज्यादातर समस्या और इनपुट / आउटपुट के प्रकारों पर आधारित है, लेकिन फिर भी - एक का निर्माण शुरू करते समय हमेशा एक "वर्ग एक" होता है। तो मेरा सवाल है - MxN का इनपुट डेटासेट दिया गया है (M रिकॉर्ड्स की संख्या, N सुविधाओं की संख्या है) और C संभव आउटपुट क्लासेस - क्या कोई थंब-नियम है कि हमें कितनी परतों / इकाइयों से शुरू करना चाहिए?

Comments

इस प्रश्न के संभावित उत्तर बहुत समस्या विशिष्ट हैं। छवि ऑब्जेक्ट मान्यता के लिए कुछ उपयोगी नियम हो सकते हैं, लेकिन ये नियम भिन्न डेटासेट पर काम नहीं कर सकते हैं।

— राशिफल

Answer 1

इस प्रश्न का उत्तर क्रॉसविलेक्टेड पर विस्तार से दिया गया है: फीडफॉरवर्ड न्यूरल नेटवर्क में छिपी हुई परतों और नोड्स की संख्या कैसे चुनें?

हालाँकि, मुझे अपने दो सेंट जोड़ने चाहिए:

सबसे अच्छा तंत्रिका नेटवर्क वास्तुकला चुनने के लिए कोई जादू नियम नहीं है, लेकिन यदि आप एक वास्तुकला पा सकते हैं जो किसी ने इसी तरह की समस्या को हल करने के लिए इस्तेमाल किया है तो यह अक्सर एक उत्कृष्ट प्रारंभिक बिंदु होता है।

देखने के लिए सबसे अच्छी जगहें लोकप्रिय न्यूरल नेटवर्क लाइब्रेरीज़ जैसे कि कार्स, प्योरोच, या टेंसोरफ़्लो और शैक्षणिक साहित्य में वर्णित आर्किटेक्चर का उपयोग करके आधिकारिक या अनौपचारिक उदाहरण हैं। किरथ / उदाहरण गीथब पर एक महान संसाधन है।

इन आर्किटेक्चर को बहुत परीक्षण और त्रुटि के बाद चुना गया था, इसलिए अधिकांश कार्य आपके लिए किए गए होंगे।

Comments

CrossValidated उत्तर के लिए एक चेतावनी यह है कि यह अब 7+ साल पुराना है, और आपकी छिपी हुई परतों को कॉन्फ़िगर करने के "उत्कृष्ट सारांश" के लिए 15+ वर्ष पुराने FAQ को इंगित करता है। कहने का मतलब है कि पिछले is-१५ वर्षों में एनएन विन्यास पर बहुत काम हुआ है, थोड़ा समझ में आता है। अनुप्रयोगों की बढ़ती संख्या है जो " एक छिपी हुई परत पर्याप्त है " शासन के बाहर आती है । - कहा कि, समस्याओं के एक मेजबान के लिए एक गहरी सीखने के दृष्टिकोण overkill हो सकता है। एक छिपी हुई परत के साथ शुरू करना और केवल गहराई में जाना यदि आवश्यक हो तो एक ठोस रणनीति है।

— RM

अच्छे अंक, आरएम - दूसरा उत्तर हालांकि हाल ही में बहुत अधिक है।

— इमरान

@ इमरान मुझे लगता है कि आप कभी भी ओपी के सवाल का जवाब नहीं देते। छिपे हुए नोड्स और वास्तुकला का विकल्प एक बहुत ही गहरा सवाल है जो अभी भी बहुत अच्छी तरह से समझा नहीं गया है। गवाह ResNet और क्रॉस परत कनेक्शन के साथ विस्तृत ResNet।

— राशिफल

आपकी टिप्पणी के लिए धन्यवाद, @horaceT। मेरे द्वारा दिए गए उत्तर का अर्थ था "अंगूठे का कोई नियम नहीं है, लेकिन ऐसी विशेषताएं हैं जिन्हें लागू किया जा सकता है"। मुझे Res Nets की जानकारी है। कृपया मुझे बताएं कि मैं अपना उत्तर कैसे सुधार सकता हूं।

— इमरान

Answer 2

मैंने अन्य तंत्रिका नेटवर्क को डिजाइन करने के लिए तंत्रिका नेटवर्क का उपयोग करने के विचार की खोज करते हुए एक पेपर पढ़ा, जिसमें यह पता लगाकर कि नोड्स और परतों का कॉन्फ़िगरेशन सबसे कुशल था। यहाँ पृष्ठ है जहाँ आप एक PDF https://arxiv.org/abs/1611.02120 डाउनलोड कर सकते हैं

Answer 3

@ इमरान के उत्तर के बाद, मुझे यह पेपर क्रॉसविलेक्टेड पोस्ट की टिप्पणियों में से एक में मिला, जिसे उन्होंने लिंक किया था। जेनेटिक मॉडल (एक नियम-से-अंगूठे का उपयोग करने के बजाय) का उपयोग करके सही वास्तुकला खोजने के प्रयास के अलावा, खंड 2.1 कुछ सैद्धांतिक सीमाएं देता है कि एक / दो-छिपी-परतों सिस्टम में कितनी छिपी हुई इकाइयाँ होनी चाहिए।

संपादित करें: मैंने इस प्रमेय का परीक्षण किया है , और पता चला है कि जेनेटिक मॉडल का उपयोग करना एक यादृच्छिक वास्तुकला का चयन करने के समान ही अच्छा है।