फ़ीड-फ़ॉरवर्ड और आवर्तक तंत्रिका नेटवर्क के बीच अंतर क्या है?

Question

फ़ीड-फ़ॉरवर्ड और आवर्तक तंत्रिका नेटवर्क के बीच अंतर क्या है ?

आप एक का उपयोग दूसरे पर क्यों करेंगे?

क्या अन्य नेटवर्क टोपोलॉजी मौजूद हैं?

Comments

निकट से संबंधित: stats.stackexchange.com/questions/287276/...

— Ferdi

Answer 1

फ़ीड-फ़ॉर्वर्ड ANN सिग्नल को केवल एक तरीके से यात्रा करने की अनुमति देते हैं: इनपुट से आउटपुट तक। कोई प्रतिक्रिया नहीं है (छोरों); अर्थात , किसी भी परत का उत्पादन उसी परत को प्रभावित नहीं करता है। फ़ीड-फ़ॉर्वर्ड ANN सीधे नेटवर्क होते हैं जो इनपुट को आउटपुट के साथ जोड़ते हैं। वे पैटर्न मान्यता में बड़े पैमाने पर उपयोग किए जाते हैं। इस प्रकार के संगठन को नीचे-ऊपर या ऊपर-नीचे भी कहा जाता है।

प्रतिक्रिया (या आवर्तक या इंटरेक्टिव) नेटवर्क में नेटवर्क में छोरों को शुरू करने से दोनों दिशाओं में यात्रा करने के संकेत हो सकते हैं। प्रतिक्रिया नेटवर्क शक्तिशाली हैं और बेहद जटिल हो सकते हैं। पहले के इनपुट से प्राप्त कंप्यूटर्स को नेटवर्क में वापस फीड किया जाता है, जो उन्हें एक प्रकार की मेमोरी देता है। प्रतिक्रिया नेटवर्क गतिशील हैं; जब तक वे एक संतुलन बिंदु तक नहीं पहुंच जाते, तब तक उनका 'राज्य' लगातार बदल रहा है। वे तब तक संतुलन बिंदु पर बने रहते हैं जब तक कि इनपुट में बदलाव नहीं हो जाता है और एक नए संतुलन को खोजने की आवश्यकता होती है।

फीडवर्डवर्ड न्यूरल नेटवर्क आदर्श रूप से भविष्यवक्ता या इनपुट चर के एक सेट और एक या अधिक प्रतिक्रिया या आउटपुट चर के बीच मॉडलिंग संबंधों के लिए उपयुक्त हैं। दूसरे शब्दों में, वे किसी भी कार्यात्मक मानचित्रण समस्या के लिए उपयुक्त हैं, जहां हम यह जानना चाहते हैं कि कितने इनपुट चर आउटपुट आउटपुट को प्रभावित करते हैं। बहुपरत फीडफॉर्वर्ड न्यूरल नेटवर्क, जिसे मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) भी कहा जाता है , व्यवहार में सबसे व्यापक रूप से अध्ययन और इस्तेमाल किया जाने वाला न्यूरल नेटवर्क मॉडल है।

प्रतिक्रिया नेटवर्क के एक उदाहरण के रूप में, मैं हॉपफील्ड के नेटवर्क को याद कर सकता हूं । हॉपफील्ड के नेटवर्क का मुख्य उपयोग सहयोगी मेमोरी के रूप में है। एक साहचर्य स्मृति एक उपकरण है जो एक इनपुट पैटर्न को स्वीकार करता है और एक आउटपुट को संग्रहीत पैटर्न के रूप में उत्पन्न करता है जो इनपुट के साथ सबसे अधिक निकटता से जुड़ा हुआ है। सहयोगी मेमोरी का कार्य संबंधित संग्रहीत पैटर्न को याद करना है, और फिर आउटपुट पर पैटर्न का एक स्पष्ट संस्करण उत्पन्न करता है। हॉपफील्ड नेटवर्क आमतौर पर बाइनरी पैटर्न वैक्टर के साथ उन समस्याओं के लिए उपयोग किया जाता है और इनपुट पैटर्न संग्रहित पैटर्न में से एक का शोर संस्करण हो सकता है। हॉपफील्ड नेटवर्क में, संग्रहीत पैटर्न नेटवर्क के भार के रूप में एन्कोड किए गए हैं।

कोहेनन के स्वयं-व्यवस्थित नक्शे(एसओएम) एक और तंत्रिका नेटवर्क प्रकार का प्रतिनिधित्व करता है जो कि फीडफोर्वर्ड मल्टीलेयर नेटवर्क से अलग है। फीडफ़वर्ड एमएलपी में प्रशिक्षण के विपरीत, एसओएम प्रशिक्षण या सीखने को अक्सर अनूपर्वेटेड कहा जाता है क्योंकि एसओएम में प्रत्येक इनपुट पैटर्न से जुड़े कोई ज्ञात लक्ष्य आउटपुट नहीं होते हैं और प्रशिक्षण प्रक्रिया के दौरान, एसओएम इनपुट पैटर्न को संसाधित करता है और डेटा को क्लस्टर या सीखता है। भार के समायोजन के माध्यम से (जो आयाम में कमी और डेटा क्लस्टरिंग के लिए एक महत्वपूर्ण तंत्रिका नेटवर्क मॉडल बनाता है)। दो-आयामी नक्शा आमतौर पर इस तरह से बनाया जाता है कि आदानों के बीच अंतर्संबंधों के क्रम संरक्षित रहते हैं। प्रशिक्षण प्रक्रिया द्वारा उत्पन्न आउटपुट वितरण के आधार पर समूहों की संख्या और संरचना नेत्रहीन निर्धारित की जा सकती है। प्रशिक्षण नमूने में केवल इनपुट चर के साथ,

(चित्र दाना व्रजीटोरु के C463 / B551 आर्टिफिशियल इंटेलिजेंस वेब साइट से हैं )

Comments

क्या एक फ़ीड फॉरवर्ड नेटवर्क है जो पुनरावृत्तियों को एक आवर्तक नेटवर्क के रूप में गिनते हुए अपने आउटपुट का उपयोग करता है?

— n

हाँ, यह वास्तव में मामला है।

— बायरज

मेरी पिछली टिप्पणी गलत थी। इस पद का कुछ हिस्सा इस व्यक्ति द्वारा (बिना मामूली शब्द-परिवर्तन के) एक-दूसरे से बिना किसी श्रेय के लूटा गया था।

— Glen_b

मैं गणितीय रूप से यह समझने की कोशिश कर रहा हूं कि आगे के नेटवर्क को खिलाने के लिए आरएनएन क्यों श्रेष्ठ हैं। क्या ऐसे कोई उदाहरण हैं जहां फ़ीड-फॉरवर्ड एएनएन द्वारा अनुमानित करना बहुत मुश्किल है लेकिन आरएनएन के साथ आसान है।

— पिकाचुचमेलेऑन

Answer 2

जॉर्ज डोंटस जो लिखते हैं वह सही है, हालांकि आज व्यवहार में आरएनएन का उपयोग समस्याओं के एक सरल वर्ग तक सीमित है: समय श्रृंखला / अनुक्रमिक कार्य।

$(i, t)$$i$$t$$i \in \mathcal{R}^n$$i$$i \in (\mathcal{R}^n)^*$

आरएनएन को हैमर द्वारा मानचित्रण करने के लिए किसी भी मापने योग्य अनुक्रम का प्रतिनिधित्व करने में सक्षम दिखाया गया है।

इस प्रकार, सभी प्रकार के अनुक्रमिक कार्यों के लिए आजकल RNN का उपयोग किया जा रहा है: समय श्रृंखला भविष्यवाणी, अनुक्रम लेबलिंग, अनुक्रम वर्गीकरण आदि । RNNs पर Schmidhuber के पेज पर एक अच्छा अवलोकन पाया जा सकता है ।

Comments

"जबकि फीडफोर्वर्ड नेटवर्क का उपयोग डेटासेट सीखने के लिए किया जाता है जैसे (i, t) जहां मैं और t वैक्टर हैं (जैसे i forRn, आवर्तक नेटवर्क के लिए मैं हमेशा एक अनुक्रम होगा, उदाहरण के लिए i∈ (Rn) ∗" मुझे यह प्रश्न पता है) बहुत समय पहले पूछा गया था, लेकिन क्या आप समझाना चाहेंगे कि आम आदमी की शर्तों में इसका क्या मतलब है? मुझे अपने प्रोजेक्ट के लिए RNN पर फीड फॉरवर्ड नेटवर्क का उपयोग करने के लिए जो कारण चुना है, उसे सही ठहराने की जरूरत है, और मुझे लगता है कि यह कारण हो सकता है। और / या, क्या आप मुझे एक ऐसे स्रोत से जोड़ सकते हैं जो मुझे यह औचित्य बनाने में सक्षम करेगा! खोज के बाद मैं खुद को एक नहीं पा सकता। धन्यवाद, किसी भी उत्तर की बहुत सराहना की जाती है!

— ब्लू 7

यह उत्तर अब पुराना है। जबकि RNN खुद को स्वाभाविक रूप से डेटा अनुक्रम करने के लिए उधार देते हैं, उनका उपयोग स्थैतिक इनपुट (जैसे कि चित्र या अन्यथा) पर भविष्यवाणियां करने के लिए भी किया जा सकता है। देखें: ऑब्जेक्ट रिकग्निशन और साक्ष्य के

— फायरबग

Answer 3

यह सवाल पूछने में वास्तव में क्या दिलचस्प है?

उनके कहने के बजाय RNN और FNN उनके नाम में भिन्न हैं। इसलिए वे अलग हैं। , मुझे लगता है कि मॉडलिंग डायनेमिक सिस्टम के संदर्भ में क्या अधिक दिलचस्प है , क्या आरएनएन एफएनएन से बहुत भिन्न है?

पृष्ठभूमि

पिछली बार की देरी (FNN-TD) के रूप में अतिरिक्त सुविधाओं के साथ आवर्तक तंत्रिका नेटवर्क और फीडफोवर्ड न्यूरल नेटवर्क के बीच मॉडलिंग प्रणाली के लिए एक बहस हुई है ।

90 के ~ 2010 के उन पत्रों को पढ़ने के बाद मेरे ज्ञान से। अधिकांश साहित्य पसंद करते हैं कि वेनिला आरएनएन एफएनएन से बेहतर है कि आरएनएन एक गतिशील मेमोरी का उपयोग करता है जबकि एफएनएन-टीडी एक स्थिर मेमोरी है।

हालाँकि, उन दोनों की तुलना में अधिक संख्यात्मक अध्ययन नहीं है। शुरुआती [1] ने दिखाया कि मॉडलिंग डायनेमिक सिस्टम के लिए, एफएनएन-टीडी वेनिला आरएनएन के लिए तुलनीय प्रदर्शन दिखाता है, जब यह शोर-शराबा होता है, जब शोर होता है। मॉडलिंग डायनेमिक सिस्टम पर अपने अनुभवों में, मैं अक्सर देखता हूं कि एफएनएन-टीडी काफी अच्छा है।

आरएनएन और एफएनएन-टीडी के बीच स्मृति प्रभाव का इलाज करने के तरीके में महत्वपूर्ण अंतर क्या है?

$X_n, X_{n-1},\ldots,X_{n-k}$$X_{n+1}$

एफएनएन-टीडी तथाकथित स्मृति प्रभावों के इलाज के लिए सबसे सामान्य, व्यापक तरीका है । चूंकि यह क्रूर है, यह सैद्धांतिक रूप से किसी भी प्रकार, किसी भी प्रकार, किसी भी स्मृति प्रभाव को कवर करता है। केवल नीचे की ओर यह है कि यह व्यवहार में बहुत अधिक पैरामीटर लेता है।

RNN में मेमोरी कुछ भी नहीं है, लेकिन पिछली जानकारी के सामान्य "दृढ़ संकल्प" के रूप में दर्शाया गया है । हम सभी जानते हैं कि सामान्य रूप से दो स्केलर अनुक्रम के बीच का विक्षेपण एक प्रतिवर्ती प्रक्रिया नहीं है और विघटन सबसे अधिक बार बीमार होता है।

$s$

इसलिए, आरएनएन वास्तव में कन्वर्सेशन करके नुकसान के साथ पिछली मेमोरी जानकारी को संपीड़ित कर रहा है, जबकि एफएनएन-टीडी सिर्फ स्मृति सूचना के नुकसान के साथ एक अर्थ में उन्हें उजागर कर रहा है। ध्यान दें कि आप छिपी हुई इकाइयों की संख्या बढ़ाकर या वेनिला आरएनएन की तुलना में अधिक समय की देरी का उपयोग करके कनवल्शन में सूचना हानि को कम कर सकते हैं। इस अर्थ में, आरएनएन एफएनएन-टीडी की तुलना में अधिक लचीला है। आरएनएन एफएनएन-टीडी के रूप में कोई स्मृति हानि नहीं प्राप्त कर सकता है और यह दिखाने के लिए तुच्छ हो सकता है कि मापदंडों की संख्या एक ही क्रम पर है।

मैं जानता हूं कि कोई यह उल्लेख करना चाहता है कि आरएनएन लंबे समय तक प्रभाव बना रहा है जबकि एफएनएन-टीडी नहीं कर सकता है। इसके लिए, मैं सिर्फ यह उल्लेख करना चाहता हूं कि एक सतत स्वायत्त डायनेमिक सिस्टम के लिए, टेक्नन एंबेडिंग थ्योरी से, यह एफएनएन-टीडी के लिए मौजूद जेनेरिक प्रॉपर्टी है जो प्रतीत होता है कि लंबे समय के समान प्रदर्शन प्राप्त करने के लिए उचित समय मेमोरी के साथ मौजूद है। RNN में मेमोरी। यह बताता है कि आरएनएन और एफएनएन-टीडी 90 के दशक की शुरुआत में निरंतर गतिशील प्रणाली उदाहरण में बहुत भिन्न नहीं है।

अब मैं RNN के लाभ का उल्लेख करूंगा। स्वायत्त गतिशील प्रणाली के कार्य के लिए, पिछले शब्द का उपयोग करना, हालांकि प्रभावी रूप से सिद्धांत में कम पिछले शब्दों के साथ एफएनएन-टीडी का उपयोग करने के समान होगा, संख्यात्मक रूप से यह उपयोगी होगा कि यह शोर के लिए अधिक मजबूत है। [1] में परिणाम इस राय के अनुरूप है।

संदर्भ

[१] जेनके, रमज़ान और तुंग लियू। "नॉनलाइनियर मॉडलिंग और फीडफोवर्ड और आवर्तक नेटवर्क के साथ भविष्यवाणी।" फिजिका डी: नॉनलाइनियर फेनोमेना 108.1-2 (1997): 119-134।

[२] पान, शौवु, और कार्तिक दुरीसामी। "क्लोजर मॉडल के डेटा-संचालित डिस्कवरी।" arXiv प्रीप्रिंट arXiv: 1803.09318 (2018)।