ऑटोएन्कोडर तंत्रिका नेटवर्क की उत्पत्ति क्या है?


14

मैंने Google, विकिपीडिया, Google के विद्वान, और बहुत कुछ खोजा, लेकिन मुझे Autoencoders की उत्पत्ति नहीं मिली। शायद यह उन अवधारणाओं में से एक है जो बहुत धीरे-धीरे विकसित हुई, और एक स्पष्ट शुरुआती बिंदु का पता लगाना असंभव है, लेकिन फिर भी मैं उनके विकास के मुख्य चरणों के कुछ प्रकार का सारांश खोजना चाहूंगा।

Autoencoders के बारे में अध्याय इयान गुडफेलो, योशुआ बेंगियो और हारून Courville की गहराई सीखना किताब में कहते हैं:

ऑटोकेनोडर्स का विचार दशकों के लिए न्यूरल नेटवर्क्स के ऐतिहासिक परिदृश्य का हिस्सा रहा है (LeCun, 1987; Bourlard and Kamp, 1988; Hinton and Zemel, 1994)। परंपरागत रूप से, ऑटोकेनोडर्स का उपयोग आयामीता में कमी या सुविधा सीखने के लिए किया गया था।

पास्कल विंसेंट की यह प्रस्तुति कहती है:

शास्त्रीय ऑटोएन्कोडर्स का उपयोग करने से इनकार करना वास्तव में बहुत पहले पेश किया गया था (LeCun, 1987; Gallinari et al।, 1987), होपफील्ड नेटवर्क (हॉपफील्ड, 1982) के विकल्प के रूप में।

इसका अर्थ यह लगता है कि "क्लासिकल ऑटोकेनोडर्स" इससे पहले भी मौजूद थे: लेकुन और गैलिनरी ने उनका उपयोग किया था लेकिन उनका आविष्कार नहीं किया था। मुझे 1987 से पहले "क्लासिकल ऑटोकेन्डर्स" का कोई निशान नहीं मिला।

कोई विचार?

जवाबों:


9

श्मिधुबर में दिए गए इतिहास के अनुसार, " तंत्रिका नेटवर्क में गहरी सीख: एक सिंहावलोकन ," तंत्रिका नेटवर्क (2015), ऑटो-एनकोडर्स को बल्लार्ड में अन -प्रूव्ड प्री-ट्रेनिंग के लिए एक विधि के रूप में प्रस्तावित किया गया था, "तंत्रिका नेटवर्क में मॉड्यूलिंग सीखने," कार्यवाही एएएआई (1987)। हालांकि यह स्पष्ट नहीं है कि पहली बार ऑटो-एनकोडर का उपयोग किया गया था; यह केवल पहली बार है जब उनका उपयोग ANN के प्रशिक्षण के पूर्व के लिए किया गया था

जैसा कि श्मीधुबर लेख की शुरूआत स्पष्ट करती है, एएनएन में उपयोग किए जाने वाले सभी विचारों को विशेषता देना थोड़ा मुश्किल है क्योंकि साहित्य विविध है और शब्दावली समय के साथ विकसित हुई है।


1
बैलार्ड द्वारा लिखे गए पेपर में पूरी तरह से अलग शब्दावली है, और इसकी संपूर्णता में ऑटोकेनडर अवधारणा का एक सूँघना भी नहीं है। शायद AE के पास कोई मूल कागज नहीं है।
abunickabhi

2
श्मुधुबर पेपर इस बात पर जोर देता है कि शब्दावली समय के साथ बदल गई है और विभिन्न लोगों ने एक ही विषय को बार-बार बदल दिया है। यह आश्चर्य की बात नहीं है कि लेखक "ऑटो एनकोडर" शब्द का उपयोग नहीं करता है
साइकोरेक्स कहते हैं, मोनिका

4

नीचे दिया गया पेपर अप्रत्यक्ष रूप से ऑटोकेनडर के बारे में बात करता है और 1986 तक वापस आता है। (जो 1987 में बैलार्ड द्वारा कागज की तुलना में एक साल पहले है)

डे रोमेलहार्ट, जीई हिंटन और आरजे विलियम्स, "त्रुटि प्रचार द्वारा आंतरिक अभ्यावेदन सीखना।" , समानांतर वितरित प्रसंस्करण। खंड 1: नींव। एमआईटी प्रेस, कैम्ब्रिज, एमए, 1986।

कागज मूल रूप से उस समय के एक नए प्रकार के फीडफ़ॉर्म नेटवर्क का वर्णन करता है, और इसकी गणितीय औपचारिकता।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.