आधुनिक तंत्रिका नेटवर्क जो अपनी खुद की टोपोलॉजी का निर्माण करते हैं

21

मानक तंत्रिका शुद्ध एल्गोरिदम (बैकप्रॉप की तरह) की एक सीमा यह है कि आपको कितने छिपे हुए परतों और न्यूरॉन्स-प्रति-परत की एक डिजाइन निर्णय करना है। आमतौर पर, सीखने की दर और सामान्यीकरण इन विकल्पों के प्रति अत्यधिक संवेदनशील है। यही कारण है कि, क्यूसेक सहसंबंध जैसे तंत्रिका शुद्ध एल्गोरिदम ब्याज पैदा कर रहे हैं। यह एक न्यूनतम टोपोलॉजी (सिर्फ इनपुट और आउटपुट यूनिट) के साथ शुरू होता है और सीखने की प्रगति के रूप में नई छिपी इकाइयों को भर्ती करता है।

CC-NN एल्गोरिथ्म को 1990 में फ़ाह्लमैन द्वारा पेश किया गया था, और 1991 में आवर्तक संस्करण। कुछ और हालिया (1992 के बाद) तंत्रिका शुद्ध एल्गोरिदम हैं जो न्यूनतम टोपोलॉजी के साथ शुरू होते हैं?

संबंधित सवाल

CogSci.SE: न्यूरोजेनेसिस के जैविक रूप से प्रशंसनीय खातों के साथ तंत्रिका नेटवर्क

neural-networks

— आर्टेम काज़नाचेव
स्रोत

यादृच्छिक प्रक्षेपण आधारित तंत्रिका नेटवर्क के साथ प्रयोग करना संभव है। ब्लॉग प्रविष्टि कोड (github)

— सीन ओ'कॉनर

10

यहां अंतर्निहित प्रश्न यह है कि आप एक तंत्रिका नेटवर्क या मशीन लर्निंग मॉडल की टोपोलॉजी / संरचना कैसे निर्धारित कर सकते हैं ताकि मॉडल "सही आकार का" हो और ओवरफिटिंग / अंडरफिटिंग न हो।

1990 में कैस्केड सहसंबंध के बाद से, अब ऐसा करने के लिए कई तरीकों की एक पूरी मेजबानी की गई है, उनमें से कई बेहतर सांख्यिकीय या कम्प्यूटेशनल गुणों के साथ हैं:

बूस्टिंग: एक कमजोर शिक्षार्थी को एक बार में प्रशिक्षित करें, प्रत्येक कमजोर शिक्षार्थी को एक निर्धारित प्रशिक्षण सेट दिया जाए ताकि वह उन चीजों को सीखे जो पिछले शिक्षार्थियों ने नहीं सीखी हैं।
लारसो या स्वचालित प्रासंगिकता निर्धारण जैसे नियमितीकरण को प्रेरित करने वाले स्पार्सिटी: एक बड़े मॉडल / नेटवर्क के साथ शुरू करते हैं, और एक नियमित उपयोग करते हैं जो अनावश्यक इकाइयों को "बंद" होने के लिए प्रोत्साहित करते हैं, जो कि उपयोगी सक्रिय हैं।
बायेसियन नॉनपैमेट्रिक्स: "सही" मॉडल आकार खोजने की कोशिश करना भूल जाते हैं। बस एक बड़े मॉडल का उपयोग करें, और बेइज़ियन को नियमित / नियमित करने के साथ सावधान रहें, ताकि आप ओवरफिट न करें। उदाहरण के लिए, अनंत संख्या वाली इकाइयों और गौसियन पुजारियों के साथ एक तंत्रिका नेटवर्क एक गौसियन प्रक्रिया हो सकती है, जो प्रशिक्षित होने के लिए बहुत सरल हो जाती है।
गहरी सीख: जैसा कि एक अन्य जवाब में कहा गया है, एक समय में एक गहरी नेटवर्क एक परत को प्रशिक्षित करें। यह वास्तव में प्रति परत इकाइयों की संख्या निर्धारित करने की समस्या को हल नहीं करता है - अक्सर यह अभी भी हाथ या क्रॉस-सत्यापन द्वारा निर्धारित किया जाता है।

9

ऑग्मेंटिंग टोपोलॉजी (NEAT) के न्यूरोइवोल्यूशन के बारे में http://www.cs.ucf.edu/~kstanley/teat.html

यह सरल समस्याओं के लिए काम करने लगता है, लेकिन संक्षिप्त रूप से अभिसरण करने के लिए धीमा है।

एनईएटी एल्गोरिथ्म के साथ न्यूरोएवोल्यूशन का एक जीवंत उदाहरण यहां पाया जा सकता है: wagenaartje.github.io/neataptic/articles/neuroevolution

— थॉमस डब्ल्यू

4

जैसा कि मैं आज कला के शीर्ष को समझता हूं "अनसुपर्वीकृत फ़ीचर लर्निंग और डीप लर्निंग"। संक्षेप में: नेटवर्क को अनिश्चित तरीके से प्रशिक्षित किया जा रहा है, एक बार में प्रत्येक परत:

— डोव
स्रोत

क्या यह न्यूरॉन्स की न्यूनतम संख्या (केवल इनपुट और आउटपुट) से शुरू होता है?

— आर्टेम काज़नाचेव

गहरी सीख में कई छिपे हुए परतों के साथ तंत्रिका नेटवर्क के लिए कई प्रकार की विधियाँ हैं। मैं ऐसे तरीकों से परिचित नहीं हूं जो न्यूरॉन्स की संख्या निर्धारित करते हैं, लेकिन शायद Google विद्वान अधिक जानते हैं ...

— Ran

सभी प्रतिस्पर्धी मौजूदा तरीकों में Afaik संख्या पहले से तय है। यह कुछ समस्या है क्योंकि इसका मतलब है कि बहुत सारे हाइपर पैरामीटर हैं। इससे निपटने के लिए, जेम्स बर्गस्त्र ने हाल ही में सर्वश्रेष्ठ हाइपर पैरामटर सेटिंग्स को खोजने के लिए गॉसियन प्रोसेस्स के उपयोग का प्रस्ताव रखा। 9http: //people.fas.harvard.edu/~bergstra/files/pub/11_nips_hyperopt.pdf)। लेकिन यह एक प्रकार का "बाहरी लूप" है जो स्मार्ट तरीके से कई अलग-अलग सेटिंग्स की कोशिश करता है।

— एंड्रियास मुलर

4

पहले से ही NEAT (न्यूरल इवोल्यूशन विद ऑगमेंटिंग टोपोलॉजी) का उल्लेख है। इस पर अटकलें और हाइपरनेट शामिल हैं। हाइपरनेट पूरी तरह से जुड़े फेनोटाइप के भार को अनुकूलित करने के लिए एक 'मेटा' नेटवर्क का उपयोग करता है। यह एक नेटवर्क 'स्पेसियल अवेयरनेस' देता है जो छवि पहचान और बोर्ड गेम प्रकार की समस्याओं में अमूल्य है। आप या तो 2 डी तक सीमित नहीं हैं। मैं सिग्नल विश्लेषण के लिए 1 डी में इसका उपयोग कर रहा हूं और 2 डी अपवर्ड संभव है, लेकिन प्रसंस्करण आवश्यकता पर भारी है। केन स्टेनली द्वारा कागजात की तलाश करें, और याहू पर एक समूह की सहायता करें। यदि आपके पास एक समस्या है जो एक नेटवर्क के साथ ट्रैक्टेबल है, तो NEAT और / या हाइपरनेट लागू हो सकता है।

3

इस विषय पर कुछ हद तक हालिया कागज़ हैं: आरपी एडम्स, एच। वलाच और ज़ौबिन घ्रामणी। गहरे विरल ग्राफिकल मॉडल की संरचना सीखना। यह सामान्य तंत्रिका नेटवर्क समुदाय से थोड़ा बाहर है और मशीन सीखने की ओर अधिक है। पेपर नेटवर्क संरचना पर गैर-पैरामीट्रिक बायेसियन इंजेक्शन का उपयोग करता है।

— एंड्रियास मुलर
स्रोत