ReLU सक्रियण फ़ंक्शन का व्युत्पन्न क्या है?

Question

ReLU सक्रियण फ़ंक्शन के व्युत्पन्न को किस रूप में परिभाषित किया गया है:

$$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$$

उस विशेष मामले के बारे में क्या है जहां पर फ़ंक्शन में कोई असंतोष है ?$x=0$

Answer 1

व्युत्पन्न है:

$$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$$

और में अपरिभाषित ।$x=0$

इसके पर अपरिभाषित होने का कारण यह है कि इसके बाएँ और दाएँ व्युत्पन्न समान नहीं हैं।$x=0$

Comments

$0$$1$$x=0$

अधिवेशन है कि drdx = 1 (x> 0)

— neuroguy123

@TomHale उपयोग क्यों नहीं करते$f(0) = \frac{1}{2}$

वैसे @TomHale, पर Nouroz रहमान के जवाब देखने quora.com/... : "[...] में निर्मित मेरी नजर में, में पुस्तकालय कार्यों (उदाहरण के लिए: tf.nn.relu()) पर व्युत्पन्न x = 0 शून्य लिया जाता है एक sparser सुनिश्चित करने के लिए मैट्रिक्स ... "

— जिम