मृत रिले न्यूरॉन्स की जांच कैसे करें

Question

पृष्ठभूमि: रिले सक्रियण के साथ तंत्रिका नेटवर्क फिटिंग करते हुए, मैंने पाया कि कभी-कभी भविष्यवाणी स्थिर के पास हो जाती है। मेरा मानना ​​है कि यह रिले न्यूरॉन्स के प्रशिक्षण के दौरान मरने के कारण है जैसा कि यहां कहा गया है। ( तंत्रिका नेटवर्क में "डाइंग रेएलयू" समस्या क्या है? )

प्रश्न: क्या करने की उम्मीद कर रहा है कोड में एक जांच को लागू करने के लिए जाँच करें कि क्या न्यूरॉन्स मर चुके हैं। उसके बाद, कोड नेटवर्क को जरूरत पड़ने पर वापस कर सकता है।

जैसे, मृत न्यूरॉन्स की जांच करने के लिए एक अच्छा citeria क्या है? वर्तमान में एक citeria के रूप में भविष्यवाणी में कम विचरण के लिए जाँच करने की सोच।

यदि यह मदद करता है, तो keras का उपयोग करके im।

Comments

टेंसोरबोर्ड में बायस के लिए एक सारांश जोड़ें : Tetorflow.org/get_started/summaries_and_tensorboard

— Emre

Answer 1

एक मृत ReLU बहुत अधिक इसका मतलब है कि इसका तर्क मूल्य नकारात्मक है जैसे कि ढाल 0 पर रहता है; कोई फर्क नहीं पड़ता कि आप इसे उस बिंदु से कैसे प्रशिक्षित करते हैं। आप प्रशिक्षण के दौरान ग्रेडिएंट पर एक नज़र डाल सकते हैं, यह देखने के लिए कि कोई ReLU मृत है या नहीं।

व्यवहार में, आप बस टीकरी ReLUs का उपयोग करना चाह सकते हैं, अर्थात f (x) = max (0, x) के बजाय आपने f (x) = x यदि x> 0 और f (x) = 0.01x निर्धारित किया है तो x <= 0 इस तरह से आप हमेशा एक छोटे से गैर-शून्य ढाल की अनुमति देते हैं और यूनिट को अब प्रशिक्षण में पूरी तरह से नहीं फंसना चाहिए।

Answer 2

एक मृत न्यूरॉन एक न्यूरॉन है जो प्रशिक्षण के दौरान अद्यतन नहीं करता है, अर्थात। 0 ढाल।

Keras डेटा की दी गई पंक्ति के लिए सीधे निकासी की अनुमति देता है । (एक और अच्छा उदाहरण)

या आप न्यूरॉन वेट को निकाल सकते हैं और अपने आप ग्रेडिएंट की गणना कर सकते हैं
(उदाहरण के लिए, रिले के लिए, ऋणात्मक तर्क को रिले के लिए - 0 ग्रेडिएंट)।

दुर्भाग्य से, ढाल डेटा बिंदु विशिष्ट है। यदि प्रशिक्षण डेटा की प्रत्येक पंक्ति के लिए केवल ग्रेडिएंट 0 है, तो आप यह सुनिश्चित कर सकते हैं कि एक प्रशिक्षण युग के दौरान न्यूरॉन सभी मिनीबैच के लिए अपडेट नहीं करेगा।

लीक रीलु एक सहायक रणनीति हो सकती है क्योंकि लीक रिले के लिए कोई मूल्य नहीं है जहां ढाल 0 के बराबर है।