आश्चर्यजनक रूप से यह पहले नहीं पूछा गया था - कम से कम मुझे कुछ अस्पष्ट संबंधित प्रश्नों के अलावा कुछ भी नहीं मिला ।
तो, एक आवर्तक तंत्रिका नेटवर्क क्या है, और नियमित एनएन पर उनके फायदे क्या हैं?
जवाबों:
आवर्तक तंत्रिका नेटवर्क (RNN) मस्तिष्क में न्यूरॉन्स की चक्रीय कनेक्टिविटी से प्रेरित कृत्रिम तंत्रिका नेटवर्क वास्तुकला का एक वर्ग है। यह जानकारी संग्रहीत करने के लिए पुनरावृत्त फ़ंक्शन लूप का उपयोग करता है।
इस पुस्तक के चित्रों का उपयोग करते हुए पारंपरिक तंत्रिका नेटवर्क के साथ अंतर :
और, एक आरएनएन:
अंतर पर ध्यान दें - फीडवर्डवर्ड न्यूरल नेटवर्क के कनेक्शन चक्र नहीं बनाते हैं। यदि हम इस स्थिति में आराम करते हैं, और चक्रीय कनेक्शन की अनुमति देते हैं, तो हम आवर्तक तंत्रिका नेटवर्क (RNN) प्राप्त करते हैं। आप देख सकते हैं कि वास्तुकला की छिपी हुई परत में।
जबकि एक बहुपरत अवधारणात्मक और एक आरएनएन के बीच का अंतर तुच्छ लग सकता है, अनुक्रम सीखने के निहितार्थ दूरगामी हैं। एक एमएलपी केवल इनपुट से आउटपुट वैक्टर तक मैप कर सकता है , जबकि एक आरएनएन पिछले आउटपुट के पूरे इतिहास से प्रत्येक आउटपुट के सिद्धांत मानचित्र में कर सकता है । वास्तव में, एमएलपी के लिए सार्वभौमिक सन्निकटन सिद्धांत के बराबर परिणाम यह है कि पर्याप्त संख्या में छिपी इकाइयों के साथ एक आरएनएन किसी भी औसत दर्जे के अनुक्रम-टू-सीक्वेंस मैपिंग को मनमानी सटीकता के लिए अनुमानित कर सकता है।
महत्वपूर्ण टेकअवे:
आवर्तक कनेक्शन नेटवर्क की आंतरिक स्थिति में बने रहने के लिए पिछले इनपुट की 'मेमोरी' की अनुमति देते हैं, और इस तरह नेटवर्क आउटपुट को प्रभावित करते हैं।
फायदे के संदर्भ में बात करना उचित नहीं है क्योंकि वे दोनों अत्याधुनिक हैं और कुछ कार्यों में विशेष रूप से अच्छे हैं। RNN पर किए गए कार्यों की एक विस्तृत श्रेणी है:
अनुक्रम लेबलिंग का लक्ष्य इनपुट डेटा के दृश्यों के लिए, एक निश्चित वर्णमाला से खींचे गए लेबल के अनुक्रम निर्दिष्ट करना है।
पूर्व: बोले गए शब्दों (भाषण मान्यता), या हाथ के इशारों के साथ वीडियो फ्रेम के अनुक्रम के साथ ध्वनिक सुविधाओं का एक अनुक्रम लिखें।
अनुक्रम लेबलिंग में उप-कार्यों में से कुछ हैं:
अनुक्रम वर्गीकरण
लेबल अनुक्रम लंबाई एक के लिए विवश हैं। इसे अनुक्रम वर्गीकरण के रूप में संदर्भित किया जाता है, क्योंकि प्रत्येक इनपुट अनुक्रम एक एकल वर्ग को सौंपा गया है। अनुक्रम वर्गीकरण कार्य के उदाहरणों में एकल बोले गए कार्य की पहचान और व्यक्तिगत हस्तलिखित पत्र की मान्यता शामिल है।
खंड वर्गीकरण
सेगमेंट वर्गीकरण से तात्पर्य उन कार्यों से है जहां लक्ष्य अनुक्रम में कई लेबल होते हैं, लेकिन लेबल के स्थान - अर्थात्, इनपुट खंडों की स्थिति, जिस पर लेबल लागू होते हैं - अग्रिम में ज्ञात होते हैं।
एक आवर्तक तंत्रिका नेटवर्क (RNN) एक कृत्रिम तंत्रिका नेटवर्क है जिसमें पिछड़े या स्व-कनेक्शन होते हैं, जैसे कि केवल फॉरवर्ड कनेक्शन के विपरीत, जैसे कि फीड-फॉरवर्ड न्यूरल नेटवर्क (FFNN)। विशेषण "आवर्तक" इस प्रकार इस पिछड़े या स्वयं-कनेक्शन को संदर्भित करता है, जो इन नेटवर्क में लूप बनाते हैं।
RNN को समय (BBTT) के माध्यम से बैक-प्रचार का उपयोग करके प्रशिक्षित किया जा सकता है , जैसे कि ये पिछड़े या स्व-कनेक्शन पहले देखे गए इनपुट को "याद" करते हैं। इसलिए, इन कनेक्शनों का उपयोग मुख्य रूप से इनपुट के अनुक्रम के तत्वों के बीच अस्थायी संबंधों को ट्रैक करने के लिए किया जाता है, जो आरएनएन को अनुक्रम भविष्यवाणी और समान कार्यों के लिए अच्छी तरह से अनुकूल बनाता है।
कई आरएनएन मॉडल हैं: उदाहरण के लिए, एलएनटीएम या जीआरयू इकाइयों के साथ आरएनएन। LSTM (या GRU) एक RNN है जिसकी एकल इकाइयाँ "सादे RNN" में एक इकाई की तुलना में अधिक जटिल परिवर्तन करती हैं, जो एक गैर-रेखीय फ़ंक्शन के अनुप्रयोग के बाद इनपुट का एक रैखिक परिवर्तन करता है (जैसे कि ReLU) रैखिक परिवर्तन। सिद्धांत रूप में, "सादे आरएनएन" LSTM इकाइयों के साथ RNN के समान शक्तिशाली हैं। व्यवहार में, वे "लुप्त और विस्फोट ग्रेडिएंट्स" समस्या से पीड़ित हैं। इसलिए, व्यवहार में, LSTM (या समान परिष्कृत आवर्तक इकाइयों) का उपयोग किया जाता है।