क्यों सुधारा गया रैखिक इकाइयों को गैर-रैखिक माना जाता है?

Question

रेक्टिफाइड रैखिक इकाइयों (ReLU) के सक्रियण कार्यों को गैर-रैखिक क्यों माना जाता है?

$$f(x) = \max(0,x)$$

जब इनपुट सकारात्मक होता है तो वे रैखिक होते हैं और गहरी नेटवर्क की प्रतिनिधि शक्ति को अनलॉक करने के लिए मेरी समझ से गैर-रेखीय सक्रियण एक होना चाहिए, अन्यथा पूरे नेटवर्क को एक परत द्वारा दर्शाया जा सकता है।

Comments

इससे पहले पूछे गए एक समान प्रश्न हैं: आंकड़े.stackexchange.com/questions/275358/… हालांकि यह शायद एक डुप्लिकेट नहीं है

— अक्सकल

Answer 1

RELU गैर-वैज्ञानिक हैं। अपने अंतर्ज्ञान में मदद करने के लिए, 1 इनपुट यूनिट $x$ , 2 छिपी इकाइयों $y_i$ , और 1 आउटपुट यूनिट z के साथ एक बहुत ही सरल नेटवर्क पर विचार करें $z$। इस सरल नेटवर्क के साथ हम एक पूर्ण मान फ़ंक्शन को लागू कर सकते हैं,

$$z = \max(0, x) + \max(0, -x),$$

या ऐसा कुछ जो आमतौर पर इस्तेमाल किए जाने वाले सिग्मोइड फ़ंक्शन के समान दिखता है,

$$z = \max(0, x + 1) - \max(0, x - 1).$$

इन्हें बड़े नेटवर्क में जोड़कर / अधिक छिपी इकाइयों का उपयोग करके, हम मनमाने कार्यों को अनुमानित कर सकते हैं।

$\hskip2in$

Comments

क्या इस प्रकार के हाथ से निर्मित रेलस को एप्रीरी बनाया जाएगा और परतों के रूप में कठोर कोडित किया जाएगा? यदि हां, तो आपको कैसे पता चलेगा कि आपके नेटवर्क को विशेष रूप से निर्मित रेउल में से किसी एक की आवश्यकता है?

— मोनिका हेडडेक

$\sigma(x) = \frac{1}{1 + e^{-x}}$

$e^x$

@ लुकास, तो मूल रूप से अगर गठबंधन (+)> 1 ReLUs हम किसी भी फ़ंक्शन का अनुमान लगा सकते हैं, लेकिन अगर हम बस reLu(reLu(....))इसे हमेशा रैखिक करेंगे? इसके अलावा, यहां आप बदलना xकरने के लिए x+1, कि के रूप में सोचा जा सकता है Z=Wx+bजहां डब्ल्यू एंड बी इस तरह के अलग-अलग रूपों देने के लिए बदल जाता है xऔर x+1?

— अनु