मैं एक संवादी परत के डेल्टा शब्द की गणना कैसे करूँ, पिछले संवादी परत के डेल्टा शब्द और भार को देखते हुए?

मैं दो संकेंद्रित परतों (c1, c2) और दो छिपी परतों (c1, c2) के साथ एक कृत्रिम तंत्रिका नेटवर्क को प्रशिक्षित करने की कोशिश कर रहा हूं। मैं मानक backpropagation दृष्टिकोण का उपयोग कर रहा हूं। बैकवर्ड पास में, मैं पिछली परत की त्रुटि के आधार पर एक परत (डेल्टा) की त्रुटि अवधि की गणना करता हूं, पिछली परत के वजन और वर्तमान परत के सक्रियण समारोह के संबंध में सक्रियण की ढाल। विशेष रूप से परत l का डेल्टा इस तरह दिखता है:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

मैं सी 2 के ढाल की गणना करने में सक्षम हूं, जो एक नियमित परत में जोड़ता है। मैं अभी एच 1 के वजन को डेल्टा के साथ गुणा करता हूं। फिर मैं उस मैट्रिक्स को c2 के आउटपुट के रूप में फिर से खोलता हूं, इसे सक्रियण फ़ंक्शन के ग्रेडिएंट के साथ गुणा करें और किया जाए।

अब मेरे पास c2 का डेल्टा शब्द है - जो आकार का 4D मैट्रिक्स है (featureMapSize, featureMapSize, filterNum, patternNum)। इसके अलावा मेरे पास c2 का वजन है, जो आकार के 3 डी मैट्रिक्स हैं (फ़िल्टर करें, फ़िल्टर करें, फ़िल्टर करें)।

इन दो शब्दों के साथ और c1 की सक्रियता के ढाल मैं c1 के डेल्टा की गणना करना चाहता हूं।

कहानी संक्षिप्त में:

पिछली संकेंद्रित परत के डेल्टा शब्द और उस परत के भार को देखते हुए, मैं एक संकेंद्रित परत के डेल्टा शब्द की गणना कैसे करूँ?

— cdwoelk
स्रोत

मैं पहले एक आयामी सरणी (इनपुट) के लिए सरलता के लिए नीचे दी गई एक दृढ़ परत के लिए त्रुटि प्राप्त कर रहा हूं जिसे आसानी से एक बहुआयामी में स्थानांतरित किया जा सकता है:

हम यहाँ मानते हैं कि $y^{l-1}$ लंबाई की $N$ के इनपुट हैं $l-1$ -थे काँटा। परत, $m$ वजन का कर्नेल-आकार है $w$ प्रत्येक वजन को दर्शाते हुए $w_i$ और आउटपुट है $x^l$ ।
इसलिए हम लिख सकते हैं (शून्य से योग पर ध्यान दें):

{एक्स}_{मैं}^{एल} = Σ_{ए = 0}^{म - 1} w_{ए} y_{ए + मैं}^{एल - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$ कहाँ पे

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$ तथा

f

$f$ सक्रियण समारोह (जैसे सिग्मोइडल)। इसके साथ ही अब हम कुछ एरर फंक्शन पर विचार कर सकते हैं

E

$E$ और दी गई गलती की परत (आपकी पिछली परत में से एक) पर त्रुटि फ़ंक्शन

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ । अब हम पिछली परत (परतों) में एक वजन में त्रुटि की निर्भरता का पता लगाना चाहते हैं:

\frac{\partial इ}{\partial w_{ए}} = Σ_{ए = 0}^{एन - म} \frac{\partial इ}{\partial {एक्स}_{मैं}^{एल}} \frac{\partial {एक्स}_{मैं}^{एल}}{\partial w_{ए}} = Σ_{ए = 0}^{एन - म} \frac{\partial इ}{\partial w_{ए}} y_{मैं + ए}^{एल - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$
जहां हम सभी अभिव्यक्ति पर योग है जिसमें

w_{a}

$w_a$ होता है, जो हैं

N - m

$N-m$ । ध्यान दें कि हम जानते हैं कि अंतिम शब्द इस तथ्य से उत्पन्न होता है कि

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$ जिसे आप पहले समीकरण से देख सकते हैं।
ग्रेडिएंट की गणना करने के लिए हमें पहले शब्द को जानना होगा, जिसकी गणना निम्न द्वारा की जा सकती है:

\frac{\partial इ}{\partial {एक्स}_{मैं}^{एल}} = \frac{\partial इ}{\partial y_{मैं}^{एल}} \frac{\partial y_{मैं}^{एल}}{\partial {एक्स}_{मैं}^{एल}} = \frac{\partial इ}{\partial y_{मैं}^{एल}} \frac{\partial}{\partial {एक्स}_{मैं}^{एल}} च ({एक्स}_{मैं}^{एल})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ जहां पहले शब्द में पिछली परत में त्रुटि है और

f

$f$ nonlinear सक्रियण समारोह।

सभी आवश्यक इकाइयाँ होने के बाद अब हम त्रुटि की गणना करने में सक्षम हैं और इसे बहुमूल्य परत तक कुशलतापूर्वक वापस प्रचारित करते हैं:

δ_{ए}^{एल - 1} = \frac{\partial इ}{\partial y_{मैं}^{एल - 1}} = Σ_{ए = 0}^{म - 1} \frac{\partial इ}{\partial {एक्स}_{मैं - ए}^{एल}} \frac{\partial {एक्स}_{मैं - ए}^{एल}}{\partial y_{मैं}^{एल - 1}} = Σ_{ए = 0}^{म - 1} \frac{\partial इ}{\partial {एक्स}_{मैं - ए}^{एल}} w_{ए}^{च एल मैं पी पी इ घ}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$ ध्यान दें कि अंतिम चरण को नीचे लिखते समय आसान समझा जा सकता है

x_{i}^{l}

$x_i^l$ -s wrt

y_{i}^{l - 1}

$y_i^{l-1}$ -s।

f l i p p e d

$flipped$ संदर्भित ट्रांसपोज़्ड वेट मैक्सिमिक्स (

T

$T$ )।

इसलिए आप केवल अगली परत में त्रुटि की गणना कर सकते हैं (अब वेक्टर संकेतन में):

δ^{एल} = (w^{एल})^{टी} δ^{एल + 1} च^{'} ({एक्स}^{एल})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

जो एक दृढ़ और subsampling परत के लिए बन जाता है:

δ^{एल} = यू पी रों ए म पी एल इ ((w^{एल})^{टी} δ^{एल + 1}) च^{'} ({एक्स}^{एल})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$ जहां

u p s a m p l e

$upsample$ ऑपरेशन अधिकतम पूलिंग परत के माध्यम से त्रुटि का प्रचार करता है।

कृपया मुझे जोड़ने या सुधारने के लिए स्वतंत्र महसूस करें!

संदर्भ के लिए देखें:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

और C ++ कार्यान्वयन के लिए (स्थापित करने की आवश्यकता के बिना): https://github.com/nyanp/tiny-cnn#supported-networks

— Leow।
स्रोत