अधिकतम पूलिंग परतों के माध्यम से वापस प्रसार

Question

मेरे पास इस सवाल का एक छोटा सा उप-प्रश्न है ।

मैं समझता हूं कि जब अधिकतम पूलिंग परत के माध्यम से बैक-प्रोपगेटिंग किया जाता है, तो ग्रेडर को इस तरह से वापस रूट किया जाता है कि पिछली परत में न्यूरॉन जिसे अधिकतम के रूप में चुना गया था, सभी ग्रेडिएंट हो जाता है। मैं 100% निश्चित नहीं हूं कि अगली परत में ढाल कैसे पूलिंग परत पर वापस चली जाती है।

तो पहला सवाल यह है कि क्या मेरे पास पूलिंग लेयर है जो पूरी तरह से कनेक्टेड लेयर से जुड़ी है - नीचे की इमेज की तरह।

जब पूलिंग परत के सियान "न्यूरॉन" के लिए ढाल की गणना करते हैं, तो क्या मैं एफसी परत न्यूरॉन्स से सभी ग्रेडिएंट का योग करता हूं? यदि यह सही है, तो पूलिंग परत के प्रत्येक "न्यूरॉन" में समान ढाल है?

उदाहरण के लिए अगर FC लेयर के पहले न्यूरॉन में 2 का ग्रेडिएंट है, दूसरे में 3 का ग्रेडिएंट है और तीसरा का एक ग्रेडिएंट है। पूलिंग लेयर में ब्लू और पर्पल "न्यूरॉन्स" के ग्रेडिएंट क्या हैं और क्यों?

और दूसरा सवाल यह है कि पूलिंग लेयर दूसरी कन्वेक्शन लेयर से जुड़ी है। फिर मैं ग्रेडिएंट की गणना कैसे करूं? नीचे दिए गए उदाहरण देखें।

पूलिंग लेयर के सबसे ऊपरी सबसे दाहिने "न्यूरॉन" (उल्लिखित हरे एक) के लिए, मैं सिर्फ अगले न्यूरॉन लेयर में पर्पल न्यूरॉन की ग्रेडिएंट लेता हूं और इसे वापस लाता हूं, है ना?

भरे हुए हरे रंग के बारे में कैसे? श्रृंखला नियम के कारण मुझे अगली परत में न्यूरॉन्स के पहले स्तंभ को एक साथ गुणा करने की आवश्यकता है? या क्या मुझे उन्हें जोड़ने की आवश्यकता है?

कृपया समीकरणों का एक गुच्छा पोस्ट न करें और मुझे बताएं कि मेरा उत्तर सही है क्योंकि मैं अपने सिर को समीकरणों के चारों ओर लपेटने की कोशिश कर रहा हूं और मुझे अभी भी यह पूरी तरह से समझ में नहीं आया है कि मैं इस प्रश्न को सरल तरीके से पूछ रहा हूं मार्ग।

Comments

आपके पहले प्रश्न के संबंध में, बैकप्रॉपैगैशन यह देखना है कि वेट और इनपुट किस तरह से आपके नुकसान को प्रभावित करते हैं। अधिकतम पूलिंग के मामले में केवल अधिकतम न्यूरॉन्स ही आउटपुट को प्रभावित करते हैं (सिवाय इसके कि कब कोई टाई हो)। तो केवल उस न्यूरॉन को त्रुटि प्रचारित करें जिसमें अधिकतम सक्रियण मान था।

— जन वैन डेर वेज

हां, मैं यह समझता हूं और मैंने अपनी पोस्ट की शुरुआत में एक पुनर्कथन में भी यह कहा है। लेकिन मुझे समझ नहीं आ रहा है कि मैं अगली परत के न्यूरॉन्स की ढाल को "कैसे" संयोजित करूं ताकि वापस प्रचारित कर सकूं। आशा है कि आप जानते हैं कि मेरा क्या मतलब है।

— मेजस्टर

Answer 1

यदि यह सही है, तो पूलिंग परत के प्रत्येक "न्यूरॉन" में समान ढाल है?

नहीं। यह वजन और सक्रियण समारोह पर निर्भर करता है। और सबसे आम तौर पर वजन पूलिंग परत के पहले न्यूरॉन से एफसी परत तक अलग होते हैं जैसा कि पूलिंग परत की दूसरी परत से एफसी परत तक होता है।

तो आमतौर पर आपके पास एक स्थिति होगी जैसे:

$FC_i = f(\sum_j W_{ij} P_j)$

$FC_i$$P_j$$f$$W$

इसका मतलब यह है कि P_j के संबंध में ग्रेडिएंट है

$grad(P_j) = \sum_i grad(FC_i) f^\prime W_{ij}$

जो j = 0 या j = 1 के लिए अलग है क्योंकि W अलग है।

और दूसरा सवाल यह है कि पूलिंग लेयर दूसरी कन्वेक्शन लेयर से जुड़ी है। फिर मैं ग्रेडिएंट की गणना कैसे करूं?

इससे कोई फर्क नहीं पड़ता कि यह किस प्रकार की परत से जुड़ा है। यह हर समय एक ही समीकरण है। अगली परत पर सभी ग्रेडिएंट्स का योग, उन न्यूरॉन्स के आउटपुट को पिछली परत पर न्यूरॉन द्वारा कैसे प्रभावित किया जाता है, उससे गुणा करता है। FC और Convolution के बीच का अंतर यह है कि FC में अगली परत में सभी न्यूरॉन्स एक योगदान प्रदान करेंगे (भले ही छोटा हो) लेकिन अगली परत में अधिकांश न्यूरॉन्स में रूपांतरण में न्यूरॉन पिछली परत से प्रभावित नहीं होते हैं इसलिए उनका योगदान बिल्कुल शून्य है।

पूलिंग लेयर के सबसे ऊपरी सबसे दाहिने "न्यूरॉन" (उल्लिखित हरे एक) के लिए, मैं सिर्फ अगले न्यूरॉन लेयर में पर्पल न्यूरॉन की ग्रेडिएंट लेता हूं और इसे वापस लाता हूं, है ना?

सही। साथ ही उस कनवल्शन लेयर पर किसी भी अन्य न्यूरॉन्स की ग्रेडिएंट जो कि पूलिंग लेयर के सबसे ऊपरी दाएं न्यूरॉन को इनपुट के रूप में लेता है।

भरे हुए हरे रंग के बारे में कैसे? श्रृंखला नियम के कारण मुझे अगली परत में न्यूरॉन्स के पहले स्तंभ को एक साथ गुणा करने की आवश्यकता है? या क्या मुझे उन्हें जोड़ने की आवश्यकता है?

उनको जोड़ों। चेन नियम के कारण।

$max$$grad(PR_j)$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$

$f = id$$f = 0$$f^\prime = 1$$f^\prime = 0$

$grad(PR_{max neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$

$grad(PR_{others}) = 0.$