हम कृत्रिम तंत्रिका नेटवर्क से मानव मस्तिष्क के बारे में क्या सीख सकते हैं?

Question

मुझे पता है कि मेरा प्रश्न / शीर्षक बहुत विशिष्ट नहीं है, इसलिए मैं इसे स्पष्ट करने का प्रयास करूंगा:

कृत्रिम तंत्रिका नेटवर्क में अपेक्षाकृत सख्त डिजाइन होते हैं। बेशक, आम तौर पर, वे जीव विज्ञान से प्रभावित होते हैं और वास्तविक तंत्रिका नेटवर्क के गणितीय मॉडल का निर्माण करने की कोशिश करते हैं, लेकिन वास्तविक तंत्रिका नेटवर्क की हमारी समझ सटीक मॉडल बनाने के लिए अपर्याप्त है। इसलिए, हम सटीक मॉडल या कुछ भी नहीं सोच सकते हैं जो असली तंत्रिका नेटवर्क के पास "आता है"।

जहाँ तक मुझे पता है, सभी कृत्रिम तंत्रिका नेटवर्क असली तंत्रिका नेटवर्क से बहुत दूर हैं। जीव विज्ञान में मानक, क्लासिक पूरी तरह से जुड़े एमएलपी मौजूद नहीं हैं। आवर्तक तंत्रिका नेटवर्क में वास्तविक न्यूरोप्लास्टी की कमी होती है, RNN के प्रत्येक न्यूरॉन में समान "फीडबैक आर्किटेक्चर" होता है, जबकि वास्तविक न्यूरॉन्स व्यक्तिगत रूप से अपनी जानकारी को सहेजते और साझा करते हैं। संवेगात्मक तंत्रिका नेटवर्क प्रभावी और लोकप्रिय हैं, लेकिन (उदाहरण के लिए) मानव मस्तिष्क में छवि प्रसंस्करण में केवल कुछ संकेंद्रन परतें होती हैं जबकि आधुनिक समाधान (जैसे गोगलनेट) पहले से ही दसियों परतों का उपयोग करते हैं ... और यद्यपि वे कंप्यूटर के लिए महान परिणाम पैदा कर रहे हैं। , वे मानव प्रदर्शन के करीब भी नहीं हैं। खासकर जब हम "प्रति-परत-प्रदर्शन" के बारे में सोचते हैं, क्योंकि हमें वास्तविक तंत्रिका नेटवर्क की तुलना में काफी अधिक मात्रा में परतों और डेटा में कमी की आवश्यकता होती है।

इसके अतिरिक्त, मेरे ज्ञान के लिए, यहां तक ​​कि मॉड्यूलर, स्व-विस्तारित / स्व-पुनर्गठन कृत्रिम तंत्रिका नेटवर्क असली तंत्रिका नेटवर्क के विशाल अनुकूलन क्षमता की तुलना में "निश्चित और स्थिर" हैं। जैविक न्यूरॉन में सामान्य रूप से विभिन्न क्षेत्रों और अन्य न्यूरॉन्स की एक विशाल विविधता से न्यूरॉन को जोड़ने वाले हजारों डेंड्राइट होते हैं। कृत्रिम तंत्रिका नेटवर्क अधिक "सीधे" हैं।

तो, क्या हम कृत्रिम मस्तिष्क नेटवर्क से मानव मस्तिष्क / वास्तविक तंत्रिका नेटवर्क के बारे में कुछ भी सीख सकते हैं? या यह केवल सॉफ्टवेयर बनाने का कुछ प्रयास है जो क्लासिक, स्थिर एल्गोरिदम से बेहतर प्रदर्शन करता है (या ऐसी चीजें भी करता है जहां ऐसे एल्गोरिदम विफल होते हैं)?

क्या कोई इस विषय के बारे में (अधिमानतः वैज्ञानिक) स्रोतों की आपूर्ति कर सकता है?

संपादित करें: अधिक जवाब बहुत सराहना की है:

Comments

यह पूछे जाने के बाद से बहुत कुछ बदल गया है। उदाहरण के लिए इमेजनेट पर प्रशिक्षित गहरे नेटवर्क ऐसे दिखते हैं जैसे वे दृश्य प्रणाली (या कम से कम फीड-फ़ॉर्वर्ड भाग) के लिए काफी सभ्य अनुमान हो सकते हैं।

— मैट क्रस

Answer 1

जैसा कि आपने उल्लेख किया है, अधिकांश तंत्रिका नेटवर्क मस्तिष्क के सामान्य सरल सार पर आधारित हैं। न केवल वे प्लास्टिसिटी जैसी नकल करने की विशेषताओं में कमी कर रहे हैं, लेकिन वे सिग्नल और समय पर ध्यान नहीं देते हैं, जैसा कि वास्तविक न्यूरॉन्स करते हैं।

एक हालिया साक्षात्कार है, जो मुझे लगा कि आपके विशिष्ट प्रश्न के लिए उपयुक्त है, मशीन-लर्निंग मेस्ट्रो माइकल जॉर्डन बिग डेटा और अन्य विशाल इंजीनियरिंग प्रयासों के भ्रम पर , और मैं बोली:

लेकिन यह सच है कि तंत्रिका विज्ञान के साथ, गहरे सिद्धांतों को समझने के लिए दशकों या यहां तक ​​कि सैकड़ों वर्षों की आवश्यकता होती है। तंत्रिका विज्ञान के सबसे निचले स्तरों पर प्रगति है। लेकिन उच्च अनुभूति के मुद्दों के लिए - हम कैसे अनुभव करते हैं, हम कैसे याद करते हैं, हम कैसे कार्य करते हैं - हमें पता नहीं है कि न्यूरॉन्स कैसे जानकारी संग्रहीत कर रहे हैं, वे कैसे कंप्यूटिंग कर रहे हैं, नियम क्या हैं, एल्गोरिदम क्या हैं, प्रतिनिधित्व क्या हैं, और पसन्द। इसलिए हम अभी तक एक ऐसे युग में नहीं हैं जिसमें हम बुद्धिमान प्रणालियों के निर्माण में हमारा मार्गदर्शन करने के लिए मस्तिष्क की समझ का उपयोग कर सकते हैं।

Comments

क्या यह ओपी के एक अलग सवाल का जवाब नहीं है? जॉर्डन साक्षात्कार के उद्धरण की अंतिम पंक्ति का अर्थ है कि वह इस सवाल को संबोधित कर रहा है कि "हम मस्तिष्क के अपने ज्ञान से कृत्रिम बुद्धिमत्ता के बारे में क्या सीख सकते हैं (कैसे बना सकते हैं?" - नहीं। "हम कृत्रिम बुद्धि से मस्तिष्क से क्या सीख सकते हैं?" ज्यादा नहीं, यही वजह है कि 80 और 90 के दशक में अपने विज्ञान के बाद से संज्ञानात्मक विज्ञान का क्षेत्र फंसा है।

— dodgethesteamroller

हां - कम या ज्यादा ... लेकिन यह विषय का एक अच्छा परिचायक है। यह इस विचार की ओर ले जाता है कि मस्तिष्क के बारे में हमारी समझ अत्यधिक अपर्याप्त है, इसलिए हम सटीक मॉडल नहीं बना पा रहे हैं या वर्तमान में सफल मॉडल से बहुत कुछ नहीं सीख सकते हैं।

— daniel451

Answer 2

ज्यादा नहीं --- यकीनन कुछ भी नहीं --- अब तक कृत्रिम तंत्रिका नेटवर्क से मस्तिष्क के कामकाज के बारे में पता चला है। [स्पष्टीकरण: मैंने यह जवाब मशीन सीखने में इस्तेमाल होने वाले तंत्रिका नेटवर्क के बारे में सोचकर लिखा है; @MattKrause (+1) सही है कि कुछ जैविक तंत्रिका संबंधी घटनाओं के तंत्रिका नेटवर्क मॉडल कई मामलों में सहायक हो सकते हैं।] हालांकि, यह शायद आंशिक रूप से इस तथ्य के कारण है कि मशीन सीखने में कृत्रिम तंत्रिका नेटवर्क में अनुसंधान अधिक या कम था। 2006 के आसपास तक ठहराव, जब जेफ्री हिंटन ने लगभग अकेले ही पूरे क्षेत्र को फिर से जागृत किया, जो अब तक अरबों डॉलर को आकर्षित करता है।

2012 में Google में Brains, Sex, and Machine Learning (45:30 से) नामक व्याख्यान में , Hinton ने सुझाव दिया कि कृत्रिम तंत्रिका नेटवर्क संकेत प्रदान कर सकते हैं कि क्यों [अधिकांश] न्यूरॉन्स स्पाइक्स के साथ संवाद करते हैं और एनालॉग सिग्नल के साथ नहीं। अर्थात्, वह ड्रॉपआउट के समान एक नियमितीकरण रणनीति के रूप में स्पाइक्स को देखने का सुझाव देता है। ड्रॉपआउट, ओवरफिटिंग को रोकने का एक हालिया विकसित तरीका है, जब किसी भी दिए गए ढाल वंश कदम पर केवल वजन का एक सबसेट अद्यतन किया जाता है ( श्रीवास्तव एट अल। 2014 देखें )। जाहिरा तौर पर यह बहुत अच्छी तरह से काम कर सकता है, और हिंटन सोचता है कि शायद स्पाइक्स (किसी भी समय सबसे अधिक न्यूरॉन्स चुप रहना) समान उद्देश्य की सेवा करते हैं।

मैं एक तंत्रिका विज्ञान अनुसंधान संस्थान में काम करता हूं और मैं यहां किसी को भी नहीं जानता, जो हिंटन के तर्क से आश्वस्त है। जूरी अभी भी बाहर है (और शायद कुछ समय के लिए बाहर रहने वाला है), लेकिन कम से कम यह एक उदाहरण है कि कृत्रिम तंत्रिका नेटवर्क संभावित रूप से हमें मस्तिष्क के कामकाज के बारे में सिखा सकते हैं ।

Comments

यह दिलचस्प लगता है - जैविक तंत्रिका नेटवर्क में ड्रॉपआउट बनाम स्पाइक्स की तकनीक की तुलना करना। क्या आप आगे के स्रोतों की आपूर्ति कर सकते हैं? कम से कम इस समय मुझे कुछ Google विद्वान और IEEE खोज के माध्यम से इस विषय में एक अच्छा पेपर नहीं मिला ...

— daniel451

मुझे नहीं लगता कि यह कभी एक वैज्ञानिक पत्र में बनाया गया है या बिल्कुल प्रकाशित हुआ है। एक उत्तेजक विचार और अस्पष्ट अंतर्ज्ञान की तरह लगता है जो हिंटन के साथ आया था, लेकिन प्रयोगात्मक रूप से प्रदर्शित करने के लिए एक लंबा रास्ता तय करना है कि यह वास्तव में मामला है (या नहीं है)।

— अमीबा का कहना है कि मोनिका

ठीक है ... बहुत बुरा :( उन विचारों के लिए कुछ उद्धृत करने योग्य स्रोत के लिए प्यार किया होगा ... वे निष्कर्ष के लिए दिलचस्प लग रहा है;)

— daniel451

यदि आप मेरे पूछने का बुरा नहीं मानते हैं: तो शोध का आपका वास्तविक विषय क्या है? आप इस तरह के मुद्दों पर परिचित और अनुभवी हैं। क्या आप आगे पढ़ने के लिए कागजात सुझा सकते हैं?

— डेनियलिउन

Answer 3

यह निश्चित रूप से सच नहीं है कि मानव मस्तिष्क केवल "कुछ" दृढ़ परतों का उपयोग करता है। लगभग 1/3 प्राइमेट मस्तिष्क दृश्य जानकारी को संसाधित करने में किसी न किसी तरह शामिल होता है। फेलमैन और वैन एसेन का यह आरेख, बंदर मस्तिष्क के माध्यम से दृश्य जानकारी कैसे बहती है, आँखों में शुरुआत (आरजीसी तल पर) और हिप्पोकैम्पस, एक स्मृति क्षेत्र में समाप्त होने की एक कठिन रूपरेखा है।

इनमें से प्रत्येक बॉक्स एक संरचनात्मक रूप से परिभाषित क्षेत्र (कम या ज्यादा) है, जिसमें कई प्रसंस्करण चरण (वास्तविक परतें, ज्यादातर मामलों में) शामिल हैं। आरेख स्वयं 25 वर्ष पुराना है और यदि कुछ है, तो हमने सीखा है कि कुछ और बक्से और बहुत अधिक लाइनें हैं।

यह है सच है कि गहरी सीखने बहुत काम है और अधिक कुछ अंतर्निहित तंत्रिका सच्चाई के आधार पर की तुलना में मस्तिष्क "अस्पष्ट से प्रेरित"। "डीप लर्निंग" को "इटेरियेटेड लॉजिस्टिक रिग्रेशन" की तुलना में बहुत अधिक कामुक लगने का अतिरिक्त लाभ है।

हालांकि, तंत्रिका नेटवर्क के गणितीय मॉडल ने भी मस्तिष्क की हमारी समझ में बहुत योगदान दिया है। एक चरम पर, कुछ मॉडल ज्ञात जीव विज्ञान और बायोफिज़िक्स की सटीक नकल करने का प्रयास करते हैं। इनमें आमतौर पर व्यक्तिगत आयनों और उनके प्रवाह के लिए शब्द शामिल होते हैं। कुछ लोग अपने आकार में बाधा डालने के लिए वास्तविक न्यूरॉन्स के 3 डी पुनर्निर्माण का भी उपयोग करते हैं। यदि यह आपकी रुचि है, तो मॉडलडीबी में मॉडल और संबद्ध प्रकाशनों का एक बड़ा संग्रह है। कई स्वतंत्र रूप से उपलब्ध NEURON सॉफ़्टवेयर का उपयोग करके कार्यान्वित किए जाते हैं ।

बड़े पैमाने पर मॉडल हैं जो अंतर्निहित जैव-भौतिकी के बारे में बहुत अधिक चिंता किए बिना, कुछ व्यवहार या न्यूरोफिज़ियोलॉजिकल प्रभावों की नकल करने का प्रयास करते हैं। कनेक्शनकार या समानांतर-वितरित-प्रसंस्करण मॉडल, जो 1980 और 1990 के दशक के उत्तरार्ध में विशेष रूप से लोकप्रिय थे और उन मॉडल के समान थे जिनका उपयोग आपको वर्तमान मशीन लर्निंग एप्लिकेशन में मिल सकता है (उदाहरण के लिए, बायोफिज़िक्स, सरल सक्रियण फ़ंक्शन और स्टिरियोटाइप्ड कनेक्टिविटी) जो विभिन्न व्याख्या करने के लिए हैं मनोवैज्ञानिक प्रक्रियाएं। ये थोड़े से प्रचलन से बाहर हो गए हैं, हालांकि एक चमत्कार अगर वे अब वापसी कर सकते हैं, तो हमारे पास अधिक शक्तिशाली कंप्यूटर और बेहतर प्रशिक्षण रणनीतियां हैं। (नीचे संपादित देखें!)

अंत में, बीच में कहीं बहुत काम होता है जिसमें कुछ "घटना विज्ञान" शामिल हैं, साथ ही कुछ जैविक विवरण (उदाहरण के लिए, कुछ गुणों के साथ स्पष्ट रूप से निरोधात्मक शब्द, लेकिन क्लोराइड चैनलों के सटीक वितरण के बिना)। बहुत से वर्तमान कार्य इस श्रेणी में आते हैं, जैसे, जिओ जिंग वांग (और कई अन्य ...) द्वारा काम किया जाता है।

संपादित करें : जब से मैंने यह लिखा है, वस्तु मान्यता कार्यों पर प्रशिक्षित गहरे तंत्रिका नेटवर्क के लिए (वास्तविक) दृश्य प्रणाली की तुलना में काम का एक विस्फोट हुआ है। कुछ आश्चर्यजनक समानताएँ हैं। एक तंत्रिका नेटवर्क की पहली परतों में गुठली प्राथमिक दृश्य प्रांतस्था में गुठली / ग्रहणशील क्षेत्रों के समान होती है और बाद की परतें उच्च दृश्य क्षेत्रों में ग्रहणशील क्षेत्रों से मिलती-जुलती हैं ( उदाहरण के लिए , निकोलस क्रिएजकोर्ट द्वारा काम देखें )। तंत्रिका नेटवर्क को फिर से स्थापित करना व्यापक व्यवहार प्रशिक्षण (वेनिलिअग और सेज, 2018) के समान परिवर्तन का कारण बन सकता है । DNN और मनुष्य कभी-कभी - हमेशा नहीं - त्रुटियों के समान पैटर्न भी लें।

फिलहाल, यह अभी भी स्पष्ट नहीं है कि क्या यह वास्तविक और कृत्रिम तंत्रिका नेटवर्क के बीच समानता को दर्शाता है, विशेष रूप से छवियों के बारे में कुछ, [*], या सभी स्ट्रिप के तंत्रिका नेटवर्क के लिए प्रवृत्ति पैटर्न खोजने के लिए, भले ही वे वहां न हों। फिर भी, दोनों की तुलना करना अनुसंधान का एक तेजी से गर्म क्षेत्र बन गया है और संभावना है कि हम इससे कुछ सीखेंगे।

* उदाहरण के लिए, CNN की प्रारंभिक दृश्य प्रणाली / पहली परतों में प्रयुक्त प्रतिनिधित्व प्राकृतिक छवियों के लिए एक इष्टतम विरल आधार है।

Comments

अच्छा योगदान है। हालांकि, मुझे लगता है कि ओपी बहुत विशिष्ट था: हमने कृत्रिम तंत्रिका नेटवर्क (एनएन) मॉडल से मस्तिष्क के बारे में क्या सीखा? निश्चित रूप से एनएन के बारे में कम्प्यूटेशनल न्यूरोसाइंस में पेपर के ज़िलियन होते हैं, कुछ महत्वपूर्ण पैटर्न और तंत्रिका हिमस्खलन के लिए आवश्यक स्थितियों की खोज से लेकर, किस प्रकार के जैविक रूप से प्रशंसनीय प्लास्टिसिटी नियम सीखने को ड्राइव कर सकते हैं, आदि और आगे के पेपर हैं जो एनएनएन प्रदान करते हैं। कुछ तंत्रिका घटना के मॉडल। यह सब शायद हमें एनएन के बारे में कुछ बताता है; लेकिन क्या हमने वास्तव में मस्तिष्क के बारे में कुछ नया सीखा है?

— अमीबा का कहना है कि

अंतिम रूप से उत्तर देना कठिन है। डेविड हेगर ने अपने प्रस्तावित कागजों की सूची के साथ 1992 के पेपर को समाप्त करने के लिए मेरा प्यार और स्नेह अर्जित किया। बहुत सारे पेपर ऐसा नहीं करते (और अधिक चाहिए), लेकिन यह मॉडलिंग के लिए एक महत्वपूर्ण भूमिका को उजागर करता है: नए प्रयोगों को प्रेरित करना। मेरे सिर के ऊपर से, मैं केवल मॉडलिंग के कारण जानी जाने वाली किसी भी चीज के बारे में नहीं सोच सकता , लेकिन मैं कई परिदृश्यों के बारे में सोच सकता हूं, जहां हमने एक मॉडल के बारे में कुछ दिलचस्प देखा है और फिर इसे और अधिक बारीकी से जांचने के लिए प्रयोगों को डिजाइन किया है।

— मैट क्राऊस

Answer 4

जो हमने वास्तव में सीखा है, वह विरल सक्रियण का उपयोग और रैखिक सुधारा सक्रियण कार्यों का उपयोग है। बाद में मूल रूप से एक कारण है, क्यों हमने इस तरह के सक्रियण कार्यों का उपयोग करने के बाद से तथाकथित तंत्रिका नेटवर्क के बारे में गतिविधि में एक विस्फोट देखा, जिसके परिणामस्वरूप उन कृत्रिम कम्प्यूटेशनल नेटवर्क के लिए प्रशिक्षण अभिप्रायों का नाटकीय पतन हुआ, जिसका उपयोग हम तंत्रिका नेटवर्क को कॉल करने के लिए करते हैं।

हमने जो सीखा वह यही है कि सिनैप्स और न्यूरॉन्स इस तरह से क्यों बनते हैं और यह बेहतर क्यों है। ये रैखिक सुधारा हुआ सक्रियण (f (x): = x> a; x: 0) विरल सक्रियता ('न्यूरोन्स' (वेट) में से कुछ ही परिणाम) सक्रिय होते हैं।

इसलिए जब हम अपना ज्ञान जैविक कार्यों की ओर बढ़ाते हैं, तो हम समझते हैं कि इसे विकास द्वारा क्यों चुना गया और पसंद किया गया। हम समझते हैं कि प्रशिक्षण के दौरान वे प्रणालियां पर्याप्त रूप से पर्याप्त हैं, लेकिन त्रुटि नियंत्रण के मामले में भी स्थिर हैं और मस्तिष्क में ऊर्जा और रासायनिक / जैविक संसाधनों जैसे संसाधनों को भी संरक्षित करती हैं।

हम बस समझते हैं कि मस्तिष्क क्यों है। इसके अलावा प्रशिक्षण और रणनीतियों को देखकर हम जानकारी के संभावित प्रवाह और शामिल सूचना प्रसंस्करण के बारे में समझते हैं जो हमें बहुत ही विषयों के बारे में परिकल्पना के निर्माण और मूल्यांकन में मदद करता है।

उदाहरण के लिए कुछ ऐसा जो मैं एक दशक पहले से याद कर सकता हूं, वह प्राकृतिक बोली जाने वाली भाषा सीखने पर एक प्रणाली का प्रशिक्षण दे रहा था और यह खोज की गई प्रणाली थी कि ऐसी ही समस्याएं दिखाई गईं जो भाषा सीखने वाले शिशुओं के अनुरूप व्यवहार को पुन: प्रस्तुत करती हैं। यहां तक ​​कि विभिन्न प्रकार की भाषाएं सीखने के बीच के अंतर भी समान थे।

तो इस दृष्टिकोण और डिजाइन का अध्ययन करके, यह निष्कर्ष निकाला गया कि भाषा सीखने के दौरान मानव सूचना प्रसंस्करण भाषा संबंधी समस्याओं के लिए प्रशिक्षण की सिफारिशों और उपचार को आकर्षित करने के लिए पर्याप्त है, जिससे यह मानव कठिनाइयों का सामना करने और समझने और अधिक कुशल उपचार विकसित करने में मदद करता है (कभी भी) यह वास्तव में इसे अभ्यास में बनाया गया एक और सवाल है)।

एक महीने पहले मैंने एक लेख पढ़ा कि कैसे 3 डी नेविगेशन और चूहे के दिमाग को याद रखना वास्तव में काम करता है और हर खोज के बारे में कम्प्यूटेशनल मॉडल बनाकर यह समझने में बहुत मदद मिली कि वास्तव में क्या चल रहा है। तो जैविक प्रणाली में क्या देखा गया था के रिक्त स्थान में भरा कृत्रिम मॉडल।

यह वास्तव में मुझे अचंभित करता है जब मुझे पता चला कि न्यूरोलॉजिकल वैज्ञानिकों ने एक ऐसी भाषा का उपयोग किया है जो एक इंजीनियर से अधिक इकट्ठा होता है जो एक जैविक व्यक्ति की तुलना में सर्किट, सूचना के प्रवाह और तार्किक प्रसंस्करण इकाइयों के बारे में बात करता है।

इसलिए हम कृत्रिम तंत्रिका नेटवर्क से बहुत कुछ सीख रहे हैं क्योंकि यह हमें अनुभवजन्य खेल के मैदानों के साथ प्रस्तुत करता है हम नियमों और आश्वासन को प्राप्त कर सकते हैं जब यह आता है कि मस्तिष्क की वास्तुकला क्या है और यह भी कि क्यों विकास वैकल्पिक तरीकों से इसे पसंद करता है।

अभी भी बहुत सारे रिक्त हैं लेकिन मैंने जो पढ़ा है उससे - मैं अभी हाल ही में सीएनएन आदि में मिला था, लेकिन 2000 के शुरुआती दिनों में विश्वविद्यालय के समय के दौरान कृत्रिम एआई, फजी लॉजिक और तंत्रिका नेटवर्क थे।

इसलिए मैंने विकास और खोज के एक दशक के मूल्य को पकड़ लिया था, जिसके परिणामस्वरूप तंत्रिका नेटवर्क और एआई क्षेत्र के सभी वैज्ञानिकों और चिकित्सकों के लिए आभार प्रकट किया गया था। अच्छा किया लोगों ने, वास्तव में अच्छा किया!