यह सीखने में कितनी गहरी है कि यह दावा है कि 1980 के दशक से सभी सुधार केवल बहुत अधिक डेटा और बहुत तेज कंप्यूटरों के कारण हैं?


22

मैं एक बात सुन रहा था और इस स्लाइड को देखा:

यहां छवि विवरण दर्ज करें

यह कितना सच है?


6
मुझे और संदर्भ चाहिए।
कार्डिनल

2
यदि आप शोधकर्ता का हवाला देते हैं तो यह मदद करेगा। मेरे लिए, इसके मूल गहन शिक्षण में न्यूरॉन काउंट और अधिक परतों में बहुत बड़े नेटवर्क शामिल हैं। माना जाता है कि उपरोक्त बिंदुओं से कुछ निहित है जो मोटे तौर पर सटीक लगता है। उपरोक्त बिंदु बड़े नेटवर्क की सुविधा प्रदान करते हैं
vzn

इसके लिए स्रोत क्या है?
मशीनएपिलोन

जवाबों:


11

मैं AI StackExchange ब्राउज़ कर रहा था और एक बहुत ही समान सवाल पर भागा: क्या अन्य न्यूरल नेटवर्क से "डीप लर्निंग" को अलग करता है?

चूंकि AI StackExchange कल (फिर से) बंद हो जाएगा, मैं यहां दो शीर्ष उत्तरों की प्रतिलिपि बनाऊंगा (उपयोगकर्ता योगदान के साथ cc by-sa 3.0 के तहत लाइसेंस प्राप्त करना आवश्यक है):


लेखक: mommi84less

दो अच्छी तरह से उद्धृत 2006 के कागजात ने शोध के हित को गहन शिक्षा में वापस लाया। में "एक तेजी से गहरी विश्वास के जाल के लिए एल्गोरिथ्म सीखने" , लेखकों के रूप में एक गहरी विश्वास शुद्ध निर्धारित किए हैं:

[...] घनी-जुड़ी आस्था जाल जिसमें कई छिपी हुई परतें होती हैं।

हम " डीप नेटवर्क्स के लालची-समझदार प्रशिक्षण " में गहरे नेटवर्क के लिए लगभग एक ही विवरण पाते हैं :

डीप मल्टी-लेयर न्यूरल नेटवर्क में गैर-रैखिकता के कई स्तर होते हैं [...]

फिर, सर्वे पेपर "रिप्रेजेंटेशन लर्निंग: ए रिव्यू एंड न्यू पर्सपेक्टिव्स" में , डीप लर्निंग का उपयोग सभी तकनीकों को शामिल करने के लिए किया जाता है ( यह बात भी देखें ) और इसे इस रूप में परिभाषित किया गया है:

[...] प्रतिनिधित्व के कई स्तरों का निर्माण या सुविधाओं के पदानुक्रम को सीखना।

विशेषण "डीप" इस प्रकार ऊपर के लेखकों द्वारा कई गैर-रेखीय छिपी परतों के उपयोग को उजागर करने के लिए उपयोग किया गया था ।


लेखक: lejlot

बस @ mommi84 जवाब में जोड़ने के लिए।

डीप लर्निंग तंत्रिका नेटवर्क तक सीमित नहीं है। यह केवल हिंटन के डीबीएन आदि की तुलना में अधिक व्यापक अवधारणा है

प्रतिनिधित्व के कई स्तरों का निर्माण या सुविधाओं का एक पदानुक्रम सीखना।

तो यह पदानुक्रमित प्रतिनिधित्व एल्गोरिदम सीखने के लिए एक नाम है। हिडन मार्कोव मॉडल, कंडिशनल रैंडम फील्ड्स, सपोर्ट वेक्टर मशीन आदि पर आधारित गहरे मॉडल हैं। केवल एक सामान्य बात यह है कि इसके बजाय (90 के दशक में) फीचर इंजीनियरिंग , जहां शोधकर्ता सुविधाओं के सेट बनाने की कोशिश कर रहे थे, कुछ वर्गीकरण समस्या को हल करने के लिए सबसे अच्छा है - ये मशीनें कच्चे डेटा से अपने स्वयं के प्रतिनिधित्व का काम कर सकती हैं। विशेष रूप से - छवि मान्यता (कच्ची छवियों) पर लागू होते हैं, वे कई स्तरों का प्रतिनिधित्व करते हैं, जिसमें पिक्सेल, फिर लाइनें, फिर चेहरे की विशेषताएं (यदि हम चेहरे के साथ काम कर रहे हैं) जैसे नाक, आंखें और अंत में सामान्यीकृत चेहरे शामिल हैं। अगर नेचुरल लैंग्वेज प्रोसेसिंग पर लागू किया जाता है - वे भाषा मॉडल का निर्माण करते हैं, जो शब्दों को विखंडू, विखंडू को वाक्य आदि में जोड़ता है।


एक और दिलचस्प स्लाइड:

यहां छवि विवरण दर्ज करें

स्रोत


7

2006 में हिंटन से ड्रॉपआउट, को पिछले 10 वर्षों के गहन शिक्षण में सबसे बड़ा सुधार कहा जाता है, क्योंकि यह बहुत कम कटौती करता है।


2
2006? जहाँ तक मुझे पता है, यह 2014 में jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf में पेश किया गया था ।
अमीबा

6

यह निश्चित रूप से एक सवाल है जो विवाद को भड़काएगा।

जब तंत्रिका नेटवर्क का उपयोग गहन सीखने में किया जाता है तो उन्हें आमतौर पर उन तरीकों से प्रशिक्षित किया जाता है जो 1980 के दशक में उपयोग नहीं किए गए थे। विशेष रणनीतियों में जो विभिन्न स्तर पर सुविधाओं को पहचानने के लिए तंत्रिका नेटवर्क की व्यक्तिगत परतों का दिखावा करते हैं, कई परतों के साथ नेटवर्क को प्रशिक्षित करना आसान बनाने का दावा किया जाता है। 1980 के दशक के बाद से यह निश्चित रूप से एक नया विकास है।


5

प्रमुख शब्द "डीप" है जो गहन शिक्षा में है। 80 के दशक में किसी (भूल गया रेफरी) ने साबित कर दिया कि सभी गैर-रेखीय कार्यों को एक ही परत तंत्रिका नेटवर्क द्वारा अनुमानित किया जा सकता है , ज़ाहिर है, पर्याप्त संख्या में छिपी हुई इकाइयाँ। मुझे लगता है कि इस परिणाम ने शायद पहले के युग में लोगों को गहरे नेटवर्क की तलाश करने से हतोत्साहित किया है।

लेकिन नेटवर्क की गहराई वही है जो पदानुक्रमित प्रतिनिधित्व में महत्वपूर्ण तत्व साबित होती है जो आज के कई अनुप्रयोगों की सफलता को बढ़ाती है।



0

बिल्कुल नहीं, एएनएन 50 के दशक में शुरू होता है। एक प्रामाणिक और व्यापक परिचय के लिए एमएल रॉक स्टार यान लेकन की स्लाइड्स में से एक देखें। http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf


यह हमारे मानकों के जवाब के लिए कम है, एक टिप्पणी के अधिक है। आपको वास्तव में उस स्लाइड से कुछ महत्वपूर्ण बिंदुओं को देकर इसका पूर्ण उत्तर देना चाहिए!
kjetil b halvorsen
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.