क्या कोई कृपया बैक-प्रचार एल्गोरिथ्म की व्याख्या कर सकता है? [डुप्लिकेट]

13

बैक-प्रचार एल्गोरिथ्म क्या है और यह कैसे काम करता है?

algorithms optimization neural-networks

— अमी
स्रोत

1

मैं इस सवाल का जवाब यहां देता हूं अगर किसी को दिलचस्पी है (मैं पुनर्खरीद नहीं करना चाहता था)।

— फीलिदा

14

वापस प्रसार एल्गोरिथ्म एक तंत्रिका नेटवर्क मॉडल फिटिंग के लिए एक ढाल वंशज एल्गोरिथ्म है। (@Dikran द्वारा उल्लिखित) मुझे कैसे समझाएं।

औपचारिक रूप से: समीकरण के भीतर इस पद के अंत में ग्रेडिएंट की गणना का उपयोग करना [1] नीचे (जो कि ढाल वंश की परिभाषा है) एक ढाल वंश के उपयोग के एक विशेष मामले के रूप में वापस प्रसार एल्गोरिथ्म देता है।

एक तंत्रिका नेटवर्क मॉडल औपचारिक रूप से, हम एक साधारण सिंगल लेयर मॉडल के साथ विचारों को ठीक करते हैं:

f (x) = g (A^{1} (s (A^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$ जहां और को सभी , , और , अज्ञात affine फ़ंक्शन हैं। फ़ंक्शन को वर्गीकरण के ढांचे में सक्रियण फ़ंक्शन कहा जाता है।

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

विचारों को ठीक करने के लिए एक द्विघात हानि फ़ंक्शन लिया जाता है। इसलिए इनपुट वैक्टर of को वास्तविक आउटपुट of (वैक्टर हो सकता है) को अनुभवजन्य को छोटा करके लगाया जा सकता है। हानि: और की पसंद के संबंध में । $(x_1,\dots,x_n)$ $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$

R_{n} (A^{1}, A^{2}) = \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

ग्रेडिएंट डीसेंटगणितकोकम करने के लिए एक भव्य वंशजएक एल्गोरिथ्म है जो पुनरावृति करता है: अच्छी तरह से चुने गए स्टेप साइज(जिसेके फ्रेमवर्क में लर्निंग रेट भी कहा जाता है)। इसके लिएके ढाल की गणना की आवश्यकता है। माना मामले में। $\mathcal{R}$

a_{l + 1} = a_{l} - γ_{l} \nabla R (a_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

की ढाल $\mathcal{R}$ हमें निरूपित, द्वारा (सरल तंत्रिका शुद्ध मॉडल माना के लिए) की ढाल के एक समारोह के रूप में , और एक समारोह के रूप में की ढाल । स्टैंडर्ड गणना (कार्यों की रचना की व्युत्पत्ति के लिए नियम का उपयोग कर) और संकेतन का उपयोग दे सभी लिए $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R [1 : M] = - 2 \times \sum_{i = 1}^{n} z_{i} g^{'} (z_{i}) (y_{i} - f (x_{i}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R [1 : p, m] = - 2 \times \sum_{i = 1}^{n} x_{i} g^{'} (z_{i}) z_{i} [m] σ^{'} (A^{2} (x_{i}) [m]) (y_{i} - f (x_{i}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

यहाँ मैं आर संकेतन प्रयोग किया है: के निर्देशांक से बना वेक्टर है सूचकांक से सूचकांक के लिए । $x[a:b]$ $x$ $a$ $b$

— रॉबिन जिरार्ड
स्रोत

11

बैक-प्रोपोगेशन वज़न के संबंध में त्रुटि फ़ंक्शन के व्युत्पन्न से बाहर काम करने का एक तरीका है, ताकि मॉडल को ढाल वंशानुक्रम अनुकूलन विधियों द्वारा प्रशिक्षित किया जा सके - यह मूल रूप से केवल "चेन नियम" का अनुप्रयोग है। वास्तव में इसके मुकाबले बहुत अधिक नहीं है, इसलिए यदि आप पथरी के साथ सहज हैं जो मूल रूप से इसे देखने का सबसे अच्छा तरीका है।

यदि आप पथरी के साथ सहज नहीं हैं, तो एक बेहतर तरीका यह होगा कि हम जानते हैं कि आउटपुट इकाइयां कितनी बुरी तरह से कर रही हैं क्योंकि हमारे पास एक वांछित आउटपुट है जिसके साथ वास्तविक आउटपुट की तुलना करना है। हालाँकि हमारे पास छिपी हुई इकाइयों के लिए एक वांछित आउटपुट नहीं है, इसलिए हम क्या करते हैं? बैक-प्रचार नियम मूल रूप से छिपी हुई इकाइयों पर आउटपुट इकाइयों की त्रुटि के लिए दोष को बाहर निकालने का एक तरीका है। किसी विशेष उत्पादन इकाई पर एक छिपी हुई इकाई का जितना अधिक प्रभाव होता है, त्रुटि के लिए उसे उतना ही अधिक दोष मिलता है। एक छिपी हुई इकाई से जुड़ा कुल दोष तब संकेत देता है कि इनपुट-टू-हिडन लेयर वेट्स को बदलने की कितनी आवश्यकता है। दो चीजें जो शासन करती हैं कि कितना दोष दिया गया है, वह छिपे हुए और आउटपुट लेयर वेट्स (जाहिर है) और छिपे हुए यूनिट के आउटपुट को जोड़ने वाला वजन है (यदि यह फुसफुसाए जाने के बजाय चिल्ला रहा है तो इसका बड़ा प्रभाव होने की संभावना है)। बाकी सिर्फ गणितीय बारीकियाँ हैं जो उस अंतर्ज्ञान को प्रशिक्षण की कसौटी के व्युत्पन्न में बदल देती हैं।

मैं भी उचित उत्तर के लिए बिशप बुक की सिफारिश करूंगा! ; ओ)

— डिक्रान मार्सुपियल
स्रोत

2

यह फीडफ़ॉर्मवर्ड मल्टीलेयर न्यूरल नेटवर्क (बहुपरत पेसेप्ट्रॉन) के प्रशिक्षण के लिए एक एल्गोरिथ्म है। वेब के आसपास कई अच्छे जावा एप्लेट्स हैं जो यह बताते हैं कि यह क्या हो रहा है, जैसे: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html । इसके अलावा, एनएन पर बिशप की पुस्तक एनएन के साथ कुछ भी करने के लिए मानक डेस्क संदर्भ है।

— स्टीफन टर्नर
स्रोत

प्रश्न और उत्तरों के रूप में उच्च-गुणवत्ता वाले सांख्यिकीय जानकारी का एक स्थायी भंडार बनाने की कोशिश में, हम लिंक-केवल उत्तरों से बचने की कोशिश करते हैं । यदि आप सक्षम हैं, तो क्या आप इसका विस्तार कर सकते हैं, शायद लिंक पर जानकारी का सारांश देकर?

— Glen_b -Reinstate मोनिका