इको स्टेट नेटवर्क्स की एक सहज व्याख्या क्या है?

Question

मैं आवर्तक तंत्रिका नेटवर्क (आरएनएन) के लिए नया हूं और अभी भी अवधारणाओं को सीख रहा हूं। मैं एक अमूर्त स्तर पर समझता हूं कि एक इको स्टेट नेटवर्क (ईएसएन) इनपुट हटाए जाने के बाद भी इनपुट के अनुक्रम का उत्पादन (पुन:) करने में सक्षम है। हालाँकि, मुझे स्कॉलरपीडिया लेख बहुत मुश्किल से समझ और पूरी तरह से समझ में आया।

क्या कोई यह समझा सकता है कि शिक्षण कैसे गणितीय रूप से सरलतम संभव रूप में काम करता है।

Answer 1

एक इको स्टेट नेटवर्क जलाशय कम्प्यूटिंग की अधिक सामान्य अवधारणा का एक उदाहरण है । ईएसएन के पीछे मूल विचार एक आरएनएन (इनपुट्स का एक क्रम है जो एक दूसरे पर निर्भर होते हैं, यानी सिग्नल की तरह समय निर्भरता) का लाभ प्राप्त करना है, लेकिन पारंपरिक आरएनएन जैसे प्रशिक्षण की समस्याओं के बिना गायब होने वाली ढाल समस्या ।

ESNs इसे सिग्मोइडल ट्रांसफर फ़ंक्शन (इनपुट आकार के सापेक्ष, 100-1000 इकाइयों की तरह) का उपयोग करके अपेक्षाकृत जुड़े न्यूरॉन्स के अपेक्षाकृत बड़े जलाशय से प्राप्त करते हैं। जलाशय में कनेक्शन एक बार सौंपे जाते हैं और पूरी तरह से यादृच्छिक होते हैं; जलाशय भार प्रशिक्षित नहीं होता है। इनपुट न्यूरॉन्स जलाशय से जुड़े होते हैं और जलाशय में इनपुट सक्रियण को खिलाते हैं - ये भी अप्रशिक्षित यादृच्छिक भार को असाइन किए जाते हैं। प्रशिक्षित किए जाने वाले एकमात्र वज़न आउटपुट वज़न हैं जो जलाशय को आउटपुट न्यूरॉन्स से जोड़ते हैं।

प्रशिक्षण में, भंडार जलाशयों को खिलाया जाएगा और आउटपुट इकाइयों पर एक शिक्षक आउटपुट लागू किया जाएगा। जलाशय राज्यों पर समय के साथ कब्जा कर लिया जाता है और संग्रहीत किया जाता है। एक बार सभी प्रशिक्षण आदानों को लागू करने के बाद, कब्जा किए गए जलाशय राज्यों और लक्ष्य आउटपुट के बीच रैखिक प्रतिगमन का एक सरल अनुप्रयोग उपयोग किया जा सकता है। इन आउटपुट वज़न को तब मौजूदा नेटवर्क में शामिल किया जा सकता है और उपन्यास इनपुट के लिए उपयोग किया जाता है।

यह विचार है कि जलाशय में विरल यादृच्छिक कनेक्शन पिछले राज्यों को पारित होने के बाद भी "प्रतिध्वनित" करने की अनुमति देते हैं, ताकि यदि नेटवर्क को एक उपन्यास इनपुट प्राप्त हो, जो उस पर प्रशिक्षित कुछ के समान है, तो जलाशय में गतिशीलता शुरू हो जाएगी इनपुट के लिए उपयुक्त सक्रियण प्रक्षेपवक्र का पालन करें और इस तरह से यह क्या है पर एक प्रशिक्षित संकेत प्रदान कर सकते हैं, और अगर यह अच्छी तरह से प्रशिक्षित है, तो यह पहले से ही क्या देखा है से सामान्यीकरण करने में सक्षम हो जाएगा, सक्रियण प्रक्षेपवक्र निम्नलिखित है कि समझ में आता है जलाशय को चलाने वाले इनपुट सिग्नल दिए।

इस दृष्टिकोण का लाभ अविश्वसनीय रूप से सरल प्रशिक्षण प्रक्रिया में है क्योंकि अधिकांश भार केवल एक बार और यादृच्छिक पर सौंपे जाते हैं। फिर भी वे समय के साथ जटिल गतिशीलता को पकड़ने में सक्षम हैं और गतिशील प्रणालियों के गुणों को मॉडल करने में सक्षम हैं। अब तक ईएसएन पर मुझे सबसे अधिक उपयोगी कागजात मिले हैं:

• हर्बर्ट जेगर (ESNs पर स्कॉलरपीडिया पेज के क्यूरेटर) द्वारा प्रशिक्षण RNN पर एक ट्यूटोरियल

• एक व्यावहारिक गाइड मंत्रो लुकोवेविक्सियस द्वारा इको राज्य नेटवर्क को लागू करने के लिए

उपयुक्त पैरामीटर मान चुनने के लिए मार्गदर्शन के साथ कार्यान्वयन बनाने के लिए औपचारिकता और उत्कृष्ट सलाह के साथ जाने के लिए स्पष्टीकरण को समझना दोनों आसान है।

अद्यतन: दीप लर्निंग पुस्तक गुडफेलो, Bengio, और Courville से इको राज्य नेटवर्क के एक से थोड़ा अधिक विस्तृत जानकारी दी है लेकिन अभी भी अच्छा उच्च स्तरीय विचार-विमर्श किया है। धारा 10.7 गायब (और विस्फोट) प्रवणता समस्या और दीर्घकालिक निर्भरता सीखने की कठिनाइयों पर चर्चा करती है। धारा 10.8 सभी इको स्टेट नेटवर्क के बारे में है। यह विशेष रूप से इस बारे में विस्तार से बताता है कि जलाशय के वजन का चयन करना क्यों महत्वपूर्ण है जिसका एक उपयुक्त वर्णक्रमीय त्रिज्या मान है - यह समय के माध्यम से जानकारी का प्रचार करते हुए भी स्थिरता को प्रोत्साहित करने के लिए गैर-सक्रियण इकाइयों के साथ मिलकर काम करता है।

Answer 2

ईएसएन में सीखना प्राथमिक रूप से वज़न को पार करने के लिए मजबूर नहीं होता है, क्रमशः उत्पादन परत सीखती है कि नेटवर्क के वर्तमान उत्पादन के लिए कौन सा उत्पादन करना है। आंतरिक स्थिति नेटवर्क की गतिशीलता पर आधारित है और इसे गतिशील जलाशय राज्य कहा जाता है। यह समझने के लिए कि जलाशय कैसे आकार लेता है, हमें ईएसएन की टोपोलॉजी को देखने की जरूरत है।

इनपुट यूनिट (एस) आंतरिक इकाइयों (जलाशय इकाइयों) में न्यूरॉन्स से जुड़ी होती हैं, वज़न को बेतरतीब ढंग से आरंभ किया जाता है। जलाशय इकाइयाँ बेतरतीब ढंग से और दुर्लभ रूप से जुड़ी हुई हैं और साथ ही साथ यादृच्छिक वज़न भी हैं। उत्पादन इकाई भी सभी जलाशय इकाइयों से जुड़ी होती है और इस प्रकार जलाशय की स्थिति प्राप्त करती है और इसी उत्पादन का उत्पादन करती है।

$t$$t$

इससे पहले कि हम यह बता सकें कि प्रशिक्षण कैसे विस्तार से काम करता है, हमें कुछ चीजों को समझाना और परिभाषित करना है:

$T$$t$$W_{fb}$

परिवर्तनीय परिभाषाएँ:

• $r$
• $o$
• $t$
• $o$
• $T$$t$$o$

अंत में प्रशिक्षण कैसे विस्तार से काम करता है?

• $t$$M$$t$$r$
• $W_{out}$$M \bullet W_{out} = T -> W_{out} = M \bullet T^{-1}$

क्योंकि सीखना बहुत तेज है हम कई नेटवर्क टोपोलॉजी की कोशिश कर सकते हैं जो एक अच्छी तरह से फिट होती है।

ईएसएन के प्रदर्शन को मापने के लिए :

• $W_{fb}$
• $\left|\left|M \bullet W_{out} – T\right|\right|^2$

स्पेक्ट्रल रेडियस और ईएसएन

Spec-tral$1$