एक तंत्रिका नेटवर्क के कुलपति-आयाम की गणना


11

अगर मैं साथ अवग्रह न्यूरॉन्स की कुछ तय गैर आवर्ती (DAG) टोपोलॉजी (नोड्स और किनारों की नियत सेट, लेकिन सीखने एल्गोरिथ्म किनारों पर वजन भिन्न हो सकते हैं) है इनपुट न्यूरॉन होते हैं जो केवल में तार ले जा सकते हैं { - 1 , 1 } n के रूप में इनपुट और एक आउटपुट के लिए सीसा (जो एक वास्तविक मूल्य को आउटपुट करता है जिसे हम 1 तक या 1 से नीचे-ऊपर करते हैं यदि यह 0 से दूर एक निश्चित निश्चित सीमा है)। क्या इस नेटवर्क के कुलपति-आयाम की गणना (या लगभग) करने का कोई तेज़ तरीका है?n{-1,1}n


टिप्पणियाँ

मैंने CS.SE पर थोड़ा और सटीक एल्गोरिथम सुधार के बारे में पूछा:

तंत्रिका नेटवर्क के कुलपति-आयाम को कुशलतापूर्वक गणना या अनुमान लगाना


बस स्पष्ट करने के लिए: क्या आपके पास न्यूरॉन्स की कोई छिपी हुई परतें हैं? आपका प्रश्न स्पष्ट रूप से निर्दिष्ट नहीं करता है कि आपके पास कोई छिपी हुई परतें हैं या नहीं।
एंड्रयू

@ विधि को किसी भी स्थिति में काम करना चाहिए। चूंकि कोई छिपी हुई परत एक रैखिक क्लासिफायरियर नहीं है, इसलिए ऐसा करना तुच्छ है; इसलिए मुझे गैर-तुच्छ मामले में अधिक दिलचस्पी है; मान लें कि हमारे पास 2 + छिपी हुई परतें हैं (हालांकि विधि कम से कम काम करना चाहिए, क्योंकि यह आसान है)।
आर्टेम काज़नाचेव

जवाबों:


6

मैं तंत्रिका जाल पर कुलपति आयामों की गणना के लिए एक सामान्य सूत्र के लिए शिकार करते हुए आपकी पोस्ट पर ठोकर खाई, लेकिन स्पष्ट रूप से एक नहीं है। जाहिर तौर पर हमारे पास केवल वीसी समीकरणों का विवाद है जो केवल कुछ संकीर्ण मामलों में लागू होता है। सावधानी: मैं इसे पुराने शोध पर आधारित कर रहा हूं, जिसे मैं मुश्किल से वीसी आयामों की अवधारणा पर समझता हूं, जिसके बारे में मैं अभी सीख रहा हूं। फिर भी, पीटर एल बार्टलेट और वोल्फगैंग मास 1 द्वारा इस पत्र को स्किम करना सार्थक हो सकता हैकुलपति आयामों की गणना पर। ध्यान दें कि 13 प्रमेयों में कुलपति सूत्रों को प्राप्त करने के लिए वे कितनी बड़ी लंबाई में जाते हैं, लेकिन प्रत्येक के लिए कितनी विविध और आवश्यक शर्तें हैं। ये पूर्वापेक्षाएँ सक्रियण कार्यों में ऑपरेटरों की संख्या से लेकर कूदने के प्रकार, न्यूरॉन्स की संख्या और उनके पदों, इनपुट की थोड़ी गहराई, आदि; इन बिखरे हुए "गोच" में से कई ऐसे हैं जो समस्याओं के कुछ संकीर्ण वर्गों के लिए उपयोगी सूत्रों को प्रस्तुत करते हैं। मामले को बदतर बनाने के लिए, वे सिद्धांत 5 और 8 में इंगित करते हैं कि सिग्मोइडल सक्रियण फ़ंक्शन के लिए वीसी के आंकड़ों की गणना करना विशेष रूप से कठिन है। पीपी। 6-7 पर वे लिखते हैं:

"जबकि टुकड़े-टुकड़े बहुपद सक्रियण कार्यों के साथ नेटवर्क के वीसी-आयाम को अच्छी तरह से समझा जाता है, तंत्रिका नेटवर्क के अधिकांश अनुप्रयोग लॉजिस्टिक सिग्मोइड फ़ंक्शन या गौसियन रेडियल आधार फ़ंक्शन का उपयोग करते हैं। दुर्भाग्य से, इस तरह के कार्यों का परिमित संख्या का उपयोग करना संभव नहीं है। प्रमेय 5 में सूचीबद्ध अंकगणितीय संचालन। हालाँकि, कारपिन्स्की और मैकिनट्रे [करपिन्स्की और मैकिन्ट्रे, 1997] ने प्रमेय की गणना की अनुमति देने के लिए प्रमेय 5 का विस्तार किया। प्रमाण समान विचारों का उपयोग करता है, लेकिन समीकरणों के एक प्रणाली के समाधान की संख्या पर बाध्य है। बहुत अधिक कठिन। "

मैं इस पत्र को "न्यूरल नेटवर्क्स के लिए बाउंडिंग वीसी-डायमेंशन: प्रोग्रेस एंड प्रॉस्पेक्ट्स" के उत्साहजनक शीर्षक के साथ भर में चला गया 2गणित का एक बहुत कुछ मेरे सिर पर है और मैंने अनुवाद कौशल की कमी को दूर करने के लिए इसे बहुत लंबा नहीं किया, लेकिन मुझे संदेह है कि यह किसी भी पृथ्वी-बिखरने वाले समाधान की पेशकश नहीं करता है, क्योंकि यह पुस्तक के दूसरे संस्करण से पहले बार्टलेट है और Maass, जो एक ही लेखक द्वारा बाद के काम का हवाला देते हैं। शायद बाद के 20 वर्षों के शोध ने तंत्रिका जाल के लिए वीसी आयामों की गणना में सुधार किया है, लेकिन अधिकांश संदर्भ मैंने पाया है कि '90 के दशक के मध्य से तारीखें लगती हैं; जाहिरा तौर पर इस विषय पर काम की सुगबुगाहट थी, तब से यह मर गया है। यदि क्षमताओं को 90 के दशक की तुलना में कहीं अधिक हालिया छात्रवृत्ति से आगे नहीं बढ़ाया गया है, तो मुझे उम्मीद है कि कोई जल्द ही अधिक व्यापक रूप से लागू समाधान के साथ आएगा, इसलिए मैं अपने तंत्रिका जाल पर भी कुलपति आयामों की गणना शुरू कर सकता हूं। माफ करना, मैं नहीं कर सका '

1 बार्टलेट, पीटर एल। और मास्स, वोल्फगैंग, 2003, "न्यूरल नेट्स के वाप्निक-चेर्वोनेंकिस डाइमेंशन," द हैंडबुक ऑफ ब्रेन थ्योरी एंड न्यूरल नेटवर्क्स, आर्बिब, माइकल ए। एड में पीपी। 1188-1192। एमआईटी प्रेस: ​​कैम्ब्रिज, मास।

2 कारपिन्स्की, मारेक और मैकिन्ट्रे, एंगस, 1995, "न्यूरल नेटवर्क्स के लिए कुलपति-आयाम का विस्तार: प्रगति और संभावनाएं," कम्प्यूटेशनल लर्निंग थ्योरी, बार्सिलोना, स्पेन में द्वितीय यूरोपीय सम्मेलन की कार्यवाही में पीपी। 337-341। वितान्ति, पी। एड। आर्टिफिशियल इंटेलिजेंस में व्याख्यान नोट्स, नंबर 904। स्प्रिंगर: बर्लिन।


0

यहाँ नवीनतम कार्य है: http://jmlr.org/papers/v20/17-612.html

डब्ल्यूएल

सीडब्ल्यूएललॉग(डब्ल्यू/एल)वीसीसीडब्ल्यूएललॉग(डब्ल्यूएल)
सीसी

सीसी

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.