एक शिक्षण प्रणाली के कौन से परिवर्तनीय घटक इसकी सफलता या विफलता के लिए जिम्मेदार हैं? उनके प्रदर्शन में क्या बदलाव आए? इसे मौलिक क्रेडिट असाइनमेंट समस्या (Minsky, 1963) कहा गया है। सार्वभौमिक समस्या सॉल्वर के लिए सामान्य क्रेडिट असाइनमेंट विधियां हैं जो विभिन्न सैद्धांतिक इंद्रियों में समय-इष्टतम हैं (सेक। 6.8)। वर्तमान सर्वेक्षण, हालांकि, संकीर्ण पर ध्यान केंद्रित करेगा, लेकिन अब व्यावसायिक रूप से महत्वपूर्ण है, कृत्रिम तंत्रिका नेटवर्क (एनएन) में डीप लर्निंग (डीएल) का उपक्षेत्र।
एक मानक तंत्रिका नेटवर्क (एनएन) में कई सरल, कनेक्टेड प्रोसेसर होते हैं, जिन्हें न्यूरॉन्स कहा जाता है, प्रत्येक वास्तविक-मूल्यवान सक्रियताओं का एक क्रम उत्पन्न करते हैं। इनपुट न्यूरॉन्स पर्यावरण को ध्यान में रखते हुए सेंसर के माध्यम से सक्रिय हो जाते हैं, अन्य न्यूरॉन्स पहले से सक्रिय न्यूरॉन्स (सेकंड 2 में विवरण) से भारित कनेक्शन के माध्यम से सक्रिय हो जाते हैं। कुछ न्यूरॉन्स क्रियाओं को ट्रिगर करके पर्यावरण को प्रभावित कर सकते हैं। लर्निंग या क्रेडिट असाइनमेंट उन भारों को खोजने के बारे में है जो एनएन प्रदर्शन को वांछित व्यवहार बनाते हैं, जैसे कि कार चलाना। समस्या के आधार पर और न्यूरॉन्स कैसे जुड़े हुए हैं, इस तरह के व्यवहार के लिए कम्प्यूटेशनल चरणों (सेकंड 3) की लंबी कारण श्रृंखलाओं की आवश्यकता हो सकती है, जहां प्रत्येक चरण नेटवर्क (अक्सर एक गैर-रैखिक तरीके से) नेटवर्क के समग्र सक्रियण को बदल देता है। डीप लर्निंग इस तरह के कई चरणों में क्रेडिट असाइन करने के बारे में है।
कुछ ऐसे चरणों के साथ उथला एनएन जैसे मॉडल कई दशकों से आसपास हैं यदि सदियों (सेक। 5.1) नहीं। न्यूरॉन्स की कई क्रमिक गैर-परत वाली मॉडल कम से कम 1960 के दशक (सेक। 5.3) और 1970 के दशक (सेक। 5.5) से कम हैं। असतत में शिक्षक-आधारित सुपरवाइज्ड लर्निंग (SL) के लिए एक कुशल ढाल डिसेंट विधि, बैकप्रॉपैगैशन (BP) नामक मनमानी गहराई के अलग-अलग नेटवर्क को 1960 और 1970 के दशक में विकसित किया गया था और 1981 (सेक। 5.5) में NN पर लागू किया गया था। हालांकि, कई परतों के साथ गहरे एनएन का बीपी आधारित प्रशिक्षण, हालांकि 1980 के दशक के अंत तक (प्रथा 5.6) के द्वारा अभ्यास में कठिन पाया गया था, और 1990 के दशक (सेक। 5.9) तक एक स्पष्ट शोध विषय बन गया था। डीएल कुछ हद तक अनसुप्रवाइज्ड लर्निंग (यूएल), जैसे, सेक की मदद से व्यावहारिक हो गया। 5.10 (1991), सेक। 5.15 (2006)। 1990 और 2000 के दशक ने विशुद्ध रूप से पर्यवेक्षित DL (Sec। 5) के कई सुधार भी देखे। नई सहस्राब्दी में, गहन एनएन ने अंततः व्यापक प्रसार ध्यान आकर्षित किया है, मुख्य रूप से वैकल्पिक मशीन सीखने के तरीकों जैसे कि कर्नेल मशीनों (वापनिक, 1995; स्कोलॉफ़ एट अल।, 1998) सहित कई महत्वपूर्ण अनुप्रयोगों में। वास्तव में, 2009 के बाद से, गहन एनएन ने कई आधिकारिक अंतरराष्ट्रीय पैटर्न मान्यता प्रतियोगिताओं (जैसे, सेक। 5.17, 5.19, 5.21, 5.22) को जीता है, जो सीमित डोमेन (सिक। 5.19, 2011) में पहला सुपरह्यूमन विज़ुअल पैटर्न मान्यता परिणाम प्राप्त करता है। डीप एनएनएस रीइनफोर्समेंट लर्निंग (आरएल) के अधिक सामान्य क्षेत्र के लिए भी प्रासंगिक हो गए हैं जहां कोई शिक्षक शिक्षक नहीं है (सेक। 6)। मुख्य रूप से वैकल्पिक मशीन सीखने के तरीकों जैसे कि कर्नेल मशीन (वाप्निक, 1995; स्कोलॉफ़ एट अल।, 1998) जैसे कई महत्वपूर्ण अनुप्रयोगों में बेहतर प्रदर्शन किया है। वास्तव में, 2009 के बाद से, गहन एनएन ने कई आधिकारिक अंतरराष्ट्रीय पैटर्न मान्यता प्रतियोगिताओं (जैसे, सेक। 5.17, 5.19, 5.21, 5.22) को जीता है, जो सीमित डोमेन (सिक। 5.19, 2011) में पहला सुपरह्यूमन विज़ुअल पैटर्न मान्यता परिणाम प्राप्त करता है। डीप एनएनएस रीइनफोर्समेंट लर्निंग (आरएल) के अधिक सामान्य क्षेत्र के लिए भी प्रासंगिक हो गए हैं जहां कोई शिक्षक शिक्षक नहीं है (सेक। 6)। मुख्य रूप से वैकल्पिक मशीन सीखने के तरीकों जैसे कि कर्नेल मशीन (वाप्निक, 1995; स्कोलॉफ़ एट अल।, 1998) जैसे कई महत्वपूर्ण अनुप्रयोगों में बेहतर प्रदर्शन किया है। वास्तव में, 2009 के बाद से, गहन एनएन ने कई आधिकारिक अंतरराष्ट्रीय पैटर्न मान्यता प्रतियोगिताओं (जैसे, सेक। 5.17, 5.19, 5.21, 5.22) को जीता है, जो सीमित डोमेन (सिक। 5.19, 2011) में पहला सुपरह्यूमन विज़ुअल पैटर्न मान्यता परिणाम प्राप्त करता है। डीप एनएनएस रीइनफोर्समेंट लर्निंग (आरएल) के अधिक सामान्य क्षेत्र के लिए भी प्रासंगिक हो गए हैं जहां कोई शिक्षक शिक्षक नहीं है (सेक। 6)। सीमित डोमेन में पहला अलौकिक दृश्य पैटर्न मान्यता परिणाम प्राप्त करना (सेक। 5.19, 2011)। डीप एनएनएस रीइनफोर्समेंट लर्निंग (आरएल) के अधिक सामान्य क्षेत्र के लिए भी प्रासंगिक हो गए हैं जहां कोई शिक्षक शिक्षक नहीं है (सेक। 6)। सीमित डोमेन में पहला अलौकिक दृश्य पैटर्न मान्यता परिणाम प्राप्त करना (सेक। 5.19, 2011)। डीप एनएनएस रीइनफोर्समेंट लर्निंग (आरएल) के अधिक सामान्य क्षेत्र के लिए भी प्रासंगिक हो गए हैं जहां कोई शिक्षक शिक्षक नहीं है (सेक। 6)।
दूसरी ओर, मुझे यकीन नहीं है कि मशीन सीखने की रणनीतियों के लिए पारस्परिक रूप से अनन्य बाल्टी के एक वर्गीकरण का निर्माण करने की कोशिश करना लाभदायक है। मुझे लगता है कि हम कह सकते हैं कि ऐसे दृष्टिकोण हैं जिनसे मॉडल को तंत्रिका नेटवर्क के रूप में देखा जा सकता है। मुझे नहीं लगता कि परिप्रेक्ष्य सभी संदर्भों में सबसे अच्छा या उपयोगी है। उदाहरण के लिए, मैं अभी भी यादृच्छिक जंगलों और ढाल को बढ़ावा देने वाले पेड़ों को "वृक्षों के टुकड़ो" के रूप में संदर्भित करने के बजाय उनके भेदों को दूर करने और उन्हें "तंत्रिका नेटवर्क पेड़" कहने की योजना बना रहा हूं। इसके अलावा, श्मिटुबर एनएन को कर्नेल मशीनों से अलग करता है - भले ही कर्नेल मशीनों का एनएन से कुछ संबंध हो - जब वह लिखता है "नई सहस्राब्दी में, गहरे एनएन ने आखिरकार व्यापक प्रसार ध्यान आकर्षित किया है," मुख्य रूप से वैकल्पिक मशीन सीखने के तरीकों जैसे कि कर्नेल मशीन ... को कई महत्वपूर्ण अनुप्रयोगों में बेहतर रूप से प्रस्तुत करके। "