सामान्य ज्ञान प्राप्त करने के लिए गहरे तंत्रिका नेटवर्क और गहन शिक्षण अपर्याप्त क्यों हैं?

Question

डीप लर्निंग (डीएल) और डीप (एर) नेटवर्क से जुड़ी हर चीज "सफल" लगती है, कम से कम बहुत तेजी से प्रगति कर रही है, और विश्वास है कि एजीआई पहुंच रही है। यह लोकप्रिय कल्पना है। एजीआई के निर्माण सहित कई समस्याओं से निपटने के लिए डीएल एक जबरदस्त उपकरण है। हालांकि यह पर्याप्त नहीं है। एक उपकरण एक आवश्यक घटक है, लेकिन अक्सर अपर्याप्त है।

डोमेन में अग्रणी आंकड़े प्रगति करने के लिए कहीं और देख रहे हैं। यह रिपोर्ट / दावा योशुआ बेंगियो , यान लेकन और ज्योफ हिंटन के बयानों के लिंक एकत्र करता है । रिपोर्ट यह भी बताती है:

डीएल की मुख्य कमजोरियां (जैसा कि मैं उन्हें देखता हूं) हैं: सबसे सरल संभव मॉडल न्यूरॉन्स पर निर्भरता ("कार्टून" जैसा कि LeCun उन्हें कहता है); 19 वीं शताब्दी के सांख्यिकीय यांत्रिकी और सांख्यिकी से विचारों का उपयोग, जो ऊर्जा कार्यों और लॉग-लाइबिलिटी विधियों का आधार हैं; और बैकप्रॉप और स्टोकेस्टिक ग्रेडिएंट वंश जैसी तकनीकों में इनका संयोजन, आवेदन के एक बहुत ही सीमित शासन के लिए अग्रणी (ऑफ़लाइन, अधिकतर बैच, पर्यवेक्षण सीखने), अत्यधिक प्रतिभाशाली चिकित्सकों की आवश्यकता (उर्फ "स्टैथस्टिक ग्रेजुएट डिसेंट"), बड़ी मात्रा में महंगी। लेबल प्रशिक्षण डेटा और कम्प्यूटेशनल शक्ति। जबकि विशाल कंपनियों के लिए महान, जो प्रतिभा को लुभाने या खरीदने और डेटा इकट्ठा करने के लिए असीमित संसाधनों को तैनात कर सकते हैं और इसे क्रंच कर सकते हैं, डीएल न तो हम में से अधिकांश के लिए सुलभ और न ही उपयोगी है।

यद्यपि दिलचस्प और प्रासंगिक है, इस तरह की व्याख्या वास्तव में समस्या के सार को संबोधित नहीं करती है: क्या कमी है?

प्रश्न व्यापक लगता है, लेकिन यह एक सरल उत्तर की कमी से हो सकता है। क्या पिन को इंगित करने का एक तरीका है कि एजीआई के लिए डीएल की क्या कमी है?

Comments

यह भी देखें क्या ट्यूरिंग टेस्ट पास करने के लिए मशीन लर्निंग का इस्तेमाल किया जा सकता है? ।

— nbro

Answer 1

तंत्रिका नेटवर्क के साथ काम करने वाला हर व्यक्ति खुफिया जैसे मानव के साथ प्रणालियों की तुलना करते समय एक महत्वपूर्ण बिंदु को याद करता है। एक इंसान को कुछ भी करने में कई महीने लगते हैं, समझदारी से उन समस्याओं को हल करने में सक्षम होते हैं जहाँ वयस्क मनुष्य मुश्किल से प्रबंधन कर सकते हैं। वह और हमारे तंत्रिका नेटवर्क की तुलना में मानव मस्तिष्क का आकार बहुत बड़ा है। दिशा सही हो सकती है, लेकिन पैमाना बंद है। मानव मस्तिष्क में न्यूरॉन्स की संख्या को मेमोरी-वार से मिलान किया जा सकता है, लेकिन वास्तविक समय का अनुकरण करने के लिए समानता की मात्रा अभी तक प्राप्त नहीं की जा सकती है (कम से कम एक यादृच्छिक शोधकर्ता के लिए)। जबकि थोड़ा पुराना यह आपको अंदाजा लगा सकता है कि हमारे पास प्रोसेसिंग पावर की कितनी कमी है।

Comments

इस संक्षिप्त उत्तर के लिए धन्यवाद। क्या आप यह कह रहे हैं कि केवल DL तकनीक के साथ AGI और इसके बाद के संस्करण को प्राप्त करने के लिए आकार मायने रखता है? आकार मायने रखता है, लेकिन कुछ शायद अभी तक गायब है। (इस अनुच्छेद में कोई भी वाक्य पूरी तरह से इरादा है)।

— एरिक प्लैटन

उदाहरण के लिए, चलो सेलुलर ऑटोमेटा को ला वोल्फ्राम मानते हैं। बहुत सरल, फिर भी आश्चर्यजनक जटिलता के लिए अग्रणी।

— एरिक

क्या क्वांटम कंप्यूटिंग, जो भी रूप अंततः इस प्रसंस्करण मुद्दे के प्रस्तावित समाधानों में से एक हो सकता है?

— DukeZhou

क्वांटम प्रसंस्करण का उपयोग एक बिंदु पर निर्णय तक पहुंचने के लिए किया जा सकता है लेकिन इसका उपयोग मानव मस्तिष्क में निरंतर प्रवाह को अनुकरण करने के लिए नहीं किया जा सकता है। एक बार जब सिस्टम का अवलोकन किया जाता है तो क्वांटम तरंग का पतन हो जाता है, जिससे यह अनिवार्य रूप से एक धीमी अनुक्रमिक प्रणाली में बदल जाता है।

— केम कल्याणको

@CemKalyoncu वास्तव में। लेकिन एक हाथी के इंसानों से लगभग 3 गुना ज्यादा होता है । आकार तर्क मायने रखता है, निश्चित है, लेकिन आकार केवल पर्याप्त नहीं लगता है।

— एरिक प्लैटन

Answer 2

डीप लर्निंग ज्यादातर सुपरवाइज्ड लर्निंग में सफल होता है, जबकि मस्तिष्क ज्यादातर असुरक्षित तरीके से कैटेगरी बनाता है। हम अभी तक नहीं जानते कि ऐसा कैसे करना है। ( गूगल ब्रेन पर एक नज़र डालें : 16,000 कोर और यह सब कर सकते हैं बिल्लियों और मानव चेहरे को बहुत ही सटीक सटीकता के साथ पहचान सकते हैं।)

डीप लर्निंग अत्यधिक असंरचित सक्रियणों का उपयोग करता है, अर्थात एक न्यूरल नेटवर्क क्लासिफायर में "डॉग" और "कैट" के उच्च स्तरीय अभ्यावेदन को समान नहीं होना चाहिए। दूसरी ओर मस्तिष्क निरोधात्मक न्यूरॉन्स का उपयोग करता है विरल वितरित प्रतिनिधित्व बनाने के लिए जो उनके अर्थ संबंधी पहलुओं में विघटित होते हैं। शायद सादृश्य द्वारा अमूर्तता और तर्क के लिए यह महत्वपूर्ण है।

मस्तिष्क के कई अलग-अलग हिस्से होते हैं जो एक साथ काम करते हैं। डीप लर्निंग शोधकर्ता केवल स्मृति या ध्यान तंत्र को अपनी वास्तुकला में एकीकृत करने के लिए शुरुआत कर रहे हैं ।

मस्तिष्क कई अलग-अलग इंद्रियों से जानकारी को एकीकृत करता है। अधिकांश डीप लर्निंग एप्लिकेशन केवल एक प्रकार के इनपुट का उपयोग करते हैं, जैसे टेक्स्ट या चित्र।

मस्तिष्क श्रेणियों के रूप में दृश्यों को मॉडलिंग करने में सक्षम है। (मूल रूप से हर क्रिया एक क्रमिक (यानी लौकिक) श्रेणी का नाम देती है।) इसके बाद इन श्रेणियों को दीर्घकालीन पदानुक्रम योजनाओं में व्यवस्थित कर सकती है। अब तक मैंने डीप लर्निंग में उस दिशा में कुछ भी नहीं देखा है।

इसके अलावा तंत्रिका नेटवर्क अभी भी मानव मस्तिष्क के समान पैमाने पर काम नहीं कर सकते हैं। यदि आप इस प्रश्न के उत्तर को देखते हैं , तो मानव मस्तिष्क एक और दो दशकों के लिए न्यूरॉन गणना में आगे होगा। तंत्रिका नेटवर्क को समान प्रदर्शन (उच्च सटीकता के कारण) तक पहुंचने के लिए मस्तिष्क के समान न्यूरॉन्स की समान संख्या की आवश्यकता नहीं हो सकती है, लेकिन अभी उदाहरण के लिए वीडियो प्रसंस्करण अभी भी इनपुट और थ्रूपुट के मामले में बहुत सीमित है।

Comments

यहाँ भी दिलचस्प बिंदु, धन्यवाद। यहां मेरी चिंता यह है कि यह विपरीत प्रक्रिया ([गहरी] सीखने) और संरचना (नेटवर्क या मस्तिष्क की) है। यदि यह चलन सही है, तो एजीआई हमारे पास जो कुछ है, उसके आधार पर समय का सवाल है। आप गहरे नेटवर्क में शब्दार्थ के मुद्दों का उल्लेख करते हैं, शायद प्रतिकूल मॉडल में सबसे अच्छा देखा जाता है। यह इंगित करता है कि कुछ गायब है, और इस उत्तर में सबसे अच्छे तर्क में से एक है। मैं समझता हूँ कि वर्तमान संरचनाएँ अपर्याप्त हैं (अर्थात प्रारंभिक स्मृति मॉडल)। यह अप्रत्यक्ष रूप से "क्यों" मुद्दे को संबोधित कर रहा है, हालांकि। क्या आप अपने उत्तर को परिष्कृत करने के तरीके देखते हैं?

— एरिक

एमएल खेल के लिए हाल ही में "ऑप्टिकल केवल" दृष्टिकोण क्या पर्यवेक्षित सीखने से मुक्त तोड़ने का प्रयास है?

— DukeZhou

@ ड्यूकझोउ: मुझे लगता है कि आरएल-तकनीकें अप्रशिक्षित सीखने में भूमिका निभा सकती हैं, लेकिन अभी यह मुझे लगता है कि आरएल उच्च स्तर की अवधारणाएं नहीं सीख रहा है, फिर भी।

— BlindKungFuMaster

@ EricPlaton: मुझे यकीन नहीं है कि मैं आपकी टिप्पणी को समझ सकता हूं। मुझे लगता है कि गायब है 1. संरचना और 2. पैमाना है। और निश्चित रूप से एल्गोरिदम, लेकिन उन संरचना के साथ intertwined हैं।

— BlindKungFuMaster

Answer 3

IMHO की पहली बाधा पैमाना है : यहां तक ​​कि Google का सबसे बड़ा DNN मस्तिष्क के पैमाने के करीब नहीं आता है, और परिमाण के कई आदेशों का एक कारक है ...

Answer 4

मुझे लगता है कि यह अभी भी उन पहलुओं को याद कर रहा है जो मानव मस्तिष्क बनाता है; एक दूसरे के साथ काम करने में बहुत सारे विभिन्न नेटवर्क हैं।

जैसे मेडिटेशन संज्ञानात्मक क्षमताओं को बेहतर बनाता है वैसे ही मस्तिष्क अधिक सहक्रियाशील रूप से काम करता है, हम इसे मशीनों पर भी लागू कर सकते हैं।

उदाहरण के लिए, Google सपने देखने के लिए एक कंप्यूटर सीख रहा है, ठीक उसी तरह जैसे हम करते हैं, जो हमने पहले से ही सीखा है। https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

और यहाँ पाथनेट है, तंत्रिका नेटवर्क का एक नेटवर्क है। https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

इन सभी यांत्रिकी को बनाना और उन सभी को एक साथ रखना, पर्याप्त शक्ति के साथ और हम बहुत करीब हो जाएंगे!

Comments

क्या आप स्पष्ट कर सकते हैं कि "यह" क्या है? यह गहरी सीखने या समान रूप से गहरे नेटवर्क की प्रक्रिया हो सकती है। ये अलग-अलग हैं।

— एरिक प्लैटन

दोनों, लेकिन मुख्य रूप से गहरे तंत्रिका नेटवर्क एक दूसरे के साथ काम करते हैं, मैं अनुमान लगाता हूं कि DNN में अच्छी तंत्रिका संबंधी प्लास्टिसिटी विशेषताएं होनी चाहिए। लेकिन यह एक ऐसी चीज है जिस पर हम केवल आधारभूत बातों को छू सकते हैं, हमें यह भी नहीं पता है कि मानव मस्तिष्क वास्तव में कैसे काम करता है

— अलेक्जेंडर

Answer 5

आर्टिफिशियल इंटेलिजेंस के प्रस्तावक आज संगणना की समस्या पर केंद्रित हैं - जो जटिल समस्याओं को तेजी से हल करने की क्षमता है। यह मेरा विश्वास है कि इस दिशा में सफलता की कोई भी राशि मानव (सामान्य) बुद्धिमत्ता का नेतृत्व नहीं करेगी, हालांकि यह निश्चित रूप से कुछ डोमेन में मनुष्यों को पीछे छोड़ देगी। इसके बजाय, प्रयास एक अध्ययन की ओर होना चाहिए जो न्यूरोलॉजिकल घटनाओं के कारण संवेदना (योग्यता का अनुभव) होता है। बेशक, यह दर्शन की कठिन समस्या है, लेकिन मेरा मानना ​​है कि यह सामान्य बुद्धि और इसकी क्षमताओं की अद्वितीय कुंजी है। रिवर्स इंजीनियरिंग और परीक्षण योग्य सिद्धांत भी इस छोर की ओर अग्रसर होने चाहिए।

Comments

कैला मशीनों के लिए एक दिलचस्प लक्षण हो सकता है (विशेषकर अगर हम चाहते हैं कि लोग इन मशीनों को अधिकार दें), लेकिन एक तरफ कैला से ही दर्शन में एक बहुत कठिन समस्या है, खेल में दो मुख्य मुद्दे हैं। (ए) खुफिया खुद को कैला की आवश्यकता नहीं हो सकती है, आप व्यक्तिपरक प्रथम-व्यक्ति के अनुभवों के लिए सक्षम होने के बिना स्मार्ट हो सकते हैं..इसी तरह, दार्शनिक ज़ोंबी।

— लेफ्ट एसई 10_6_19

(बी) उद्योग केवल जटिल समस्याओं को तेजी से हल करने के बारे में परवाह करता है और वास्तव में चिंता नहीं करता है कि क्या कहा जाता है कि फास्ट मशीन सोच सकती है या महसूस कर सकती है। एजीआई केवल इस हद तक वांछित है कि यह एक जटिल समस्याओं को तेजी से हल कर सके ... खुफिया केवल एक अंत का साधन है। (वास्तव में, उद्योग एक सोच और महसूस करने वाली मशीन नहीं चाह सकता है, क्योंकि ऐसी मशीनें अधिकार के लायक हो सकती हैं ... और अधिकार नियमों की तरह थोड़े हैं, यह सीमित करना कि कोई व्यवसाय उनके उपकरण के साथ क्या कर सकता है।)

— वाम एसई 10_6_19