एक सजा तंत्रिका नेटवर्क का प्रशिक्षण

Question

मैं वर्तमान में एक फेस रिकग्निशन सॉफ्टवेयर पर काम कर रहा हूं जो चेहरे को पहचानने के लिए कनवल्शन न्यूरल नेटवर्क का उपयोग करता है। अपने रीडिंग के आधार पर, मैं इकट्ठा हुआ हूं कि एक दृढ़ तंत्रिका नेटवर्क ने वजन साझा किया है, ताकि प्रशिक्षण के दौरान समय की बचत हो सके। लेकिन, कोई बैकप्रोपेगैशन को कैसे अनुकूल बनाता है, इसलिए इसका उपयोग कन्वेक्शन न्यूरल नेटवर्क में किया जा सकता है। बैकप्रॉपैगैनेशन में, वेट को प्रशिक्षित करने के लिए एक सूत्र इसी तरह का उपयोग करता है।

New Weight  = Old Weight +  LEARNING_RATE * 1 * Output Of InputNeuron * Delta

हालाँकि, चूंकि दोषपूर्ण तंत्रिका नेटवर्क में, वजन साझा किए जाते हैं, प्रत्येक वजन का उपयोग कई न्यूरॉन्स के साथ किया जाता है, इसलिए मैं कैसे तय करता हूं कि किसका Output of InputNeuronउपयोग किया जाता है?

दूसरे शब्दों में, चूंकि वज़न साझा किया जाता है, मैं कैसे तय करूं कि वेट को कितना बदलना है?

Answer 1

आपको पहले अपने सभी अपडेट की गणना करने की आवश्यकता है जैसे कि wieghts साझा नहीं किए गए थे, लेकिन बस उन्हें स्टोर करें, वास्तव में अभी तक कोई भी अपडेट नहीं करें।

$w_k$$I_k = \{(i,j) \colon w_{i,j} = w_k\}$$\Delta w_{i,j} = -\eta \frac{\partial J}{\partial w_{i,j}}$$\eta$$J$$w_{i,j}$

$$w_{i,j} = w_{i,j} + \Delta w_{i,j}.$$ $$\Delta w_k = \sum_{(i,j) \in I_k} \Delta w_{i,j}$$ $$w_k = w_k + \Delta w_k.$$

Comments

क्या आपके पास इसके लिए कोई संदर्भ है? आगे पढ़ने के लिए

— जॉन