सक्रियण कार्यों के रूप में सॉफ्टप्ल पर ReLU का उपयोग करने के क्या लाभ हैं?

Question

यह अक्सर उल्लेख किया गया है कि रेक्टिफाइड लीनियर इकाइयाँ (ReLU) ने सॉफ्टप्लस यूनिट्स को सुपरक्यूट किया है क्योंकि वे रैखिक हैं और गणना करने में तेज़ हैं।

क्या सॉफ्टप्लस में अभी भी स्पार्सिटी उत्प्रेरण का लाभ है या क्या यह ReLU तक ही सीमित है?

मेरे द्वारा पूछे जाने का कारण यह है कि मैं ReLU के शून्य ढलान के नकारात्मक परिणामों के बारे में आश्चर्य करता हूं। क्या यह गुण शून्य में "ट्रैप" इकाइयाँ नहीं हैं जहाँ उन्हें पुनर्सक्रियन की संभावना देना फायदेमंद हो सकता है?

Comments

क्या तुमने कभी इस का जवाब पता चला?

— चार्ली पार्कर

Answer 1

मुझे दीप लर्निंग पुस्तक की धारा 6.3.3 में आपके प्रश्न का उत्तर मिला । (गुडफेलो एट अल।, 2016):

सॉफ्टप्लस का उपयोग आमतौर पर हतोत्साहित किया जाता है। ... किसी को यह उम्मीद हो सकती है कि हर जगह अलग-अलग होने के कारण या कम पूरी तरह से संतृप्त होने के कारण रेक्टिफायर पर इसका लाभ होगा, लेकिन आनुभविक रूप से ऐसा नहीं होता है।

इस दावे का समर्थन करने के संदर्भ के रूप में वे पेपर डीप स्पार्स रेक्टिफायर न्यूरल नेटवर्क्स (ग्लोरोट एट अल।, 2011) का हवाला देते हैं ।

Comments

मुझे लगता है कि हमें "लेकिन आनुभविक रूप से ऐसा नहीं है" के बारे में अधिक स्पष्टीकरण की आवश्यकता है।

— nbro

Answer 2

ReLUs वास्तव में स्थायी रूप से बंद हो सकते हैं, विशेष रूप से उच्च शिक्षण दर के तहत। यह टपका हुआ ReLU, और ELU सक्रियण के पीछे एक प्रेरणा है, दोनों में लगभग हर जगह गैर-शून्य ढाल है।

Leaky ReLU एक टुकड़े-टुकड़े रैखिक कार्य है, जैसे कि ReLU के लिए, इतनी जल्दी गणना करने के लिए। ELU में सॉफ्टमैक्स और ReLU पर फायदा है कि इसका मतलब है कि उत्पादन शून्य के करीब है, जो सीखने में सुधार करता है।

Comments

इसका क्या मतलब है "लगभग हर जगह।"

— nbro

"लगभग हर जगह" एक तकनीकी शब्द है जिसका अर्थ है "कुछ असीम छोटे बिंदुओं को छोड़कर"। उदाहरण के लिए, टपका हुआ ReLU में x = 0 पर कोई ढाल परिभाषित नहीं है।

— ह्यूग पर्किन्स