यहां जवाब गायब करने और विस्फोट करने वाले ग्रेडिएंट को संदर्भित करता है जो कि इन sigmoid-एक्टिवेशन फ़ंक्शन के समान है लेकिन, मुझे लगता है, Reluइसका नुकसान है और यह इसका अपेक्षित मूल्य है। के उत्पादन के लिए कोई सीमा नहीं है Reluऔर इसलिए इसका अपेक्षित मूल्य शून्य नहीं है। मुझे याद है Reluकि tanhमशीन सीखने के विशेषज्ञों के बजाय सबसे लोकप्रिय होने से पहले का समय था sigmoid। इसका कारण यह था कि अपेक्षित मूल्य tanhशून्य के बराबर था और इससे तंत्रिका परतों में अधिक तेजी से गहरी परतों में सीखने में मदद मिली। Reluयह विशेषता नहीं है, लेकिन अगर हम इसके व्युत्पन्न लाभ को एक तरफ रख दें तो यह कितना अच्छा काम कर रहा है। इसके अलावा, मुझे लगता है कि व्युत्पन्न भी प्रभावित हो सकता है। क्योंकि सक्रियण (का उत्पादन)Relu) अद्यतन नियमों की गणना के लिए शामिल हैं।
ReLU के साथ कुछ प्रकार के सामान्यीकरण (जैसे बैच सामान्यीकरण, परत सामान्यीकरण) होना आम बात है। यह आउटपुट रेंज को समायोजित करता है।
—
नकास
@nasasas लेकिन सामान्य रूप से
—
मीडिया
CNNसामान्य का उत्पादन reluसामान्य नहीं है? कम से कम मैंने ऐसा कभी नहीं देखा।
आप सही हैं, बहुत गहरे CNNs में सामान्य नहीं है कि बैच का सामान्यीकरण न हो। क्या आपने वजन प्रारंभिक मूल्यों की भूमिका पर विचार किया है? (जैसे वह आरंभीकरण)
—
nasasas
हां, वास्तव में वे किसी भी तरह से लुप्त होने / विस्फोट को रोकने के लिए हैं, कुछ पुनरावृत्तियों के बाद आउटपुट बड़ा हो जाता है मुझे लगता है।
—
मीडिया