जवाबों:
आप ज्यादातर सही हैं! ReLU में ग्रेडिएंट के गायब होने की समस्या है, लेकिन केवल एक तरफ, इसलिए हम इसे कुछ और कहते हैं: 'डाइंग ReLU समस्या'। अधिक जानकारी के लिए इस स्टैक ओवरफ़्लो प्रतिक्रिया को देखें: तंत्रिका नेटवर्क में "डाइंग रेएलयू" समस्या क्या है?
यह एक छोटा सा शब्दार्थक अंतर है। जब आप मानक ऑपरेटिंग रेंज के बाहर होते हैं तो बहुत सारे कार्य (तन और उपस्कर / सिग्मॉइड) शून्य के करीब होते हैं। यह 'लुप्त हो रही ढाल' का मुद्दा है। जितना बुरा आप प्राप्त करते हैं, उतना ही अच्छा है कि वह अच्छे क्षेत्र में वापस आ जाए। ReLU आप को सकारात्मक दिशा में आगे बढ़ने के लिए बदतर नहीं करता है , इसलिए कोई गायब होने वाली समस्या (उस तरफ) नहीं है। यह विषमता इसे कुछ अलग कहने का औचित्य साबित करने के लिए पर्याप्त हो सकती है, लेकिन विचार काफी समान हैं।
लुप्त होने का अर्थ है कि यह 0 की ओर जाता है, लेकिन वास्तव में कभी नहीं होगा। 0 के ग्रेडिएंट होने से बहुत आसान गणना होती है, 0 के करीब ग्रेडिएंट होने का मतलब है कि बदलाव हैं, बस बहुत छोटे लोग हैं जिनका मतलब है धीमी गति से सीखने और संख्यात्मक मुद्दे। इस तरह की अनुकूलन समस्याओं में गणना करने के लिए 1 और 0 सबसे आसान संख्या में से दो हैं।