गैर संतृप्तताओं को संतृप्त करने वाले शब्द का क्या अर्थ है?

Question

मैं डीप कॉन्ट्रोवर्शियल न्यूरल नेटवर्क्स के साथ पेपर इमेजनेट क्लासिफिकेशन को पढ़ रहा था और सेक्शन 3 में वे अपने कन्वर्सेशनल न्यूरल नेटवर्क के आर्किटेक्चर के बारे में बता रहे थे, वे बताते हैं कि वे कैसे उपयोग करना पसंद करते हैं:

गैर-संतृप्त नॉनलाइनरिटी $f(x) = max(0, x).$

क्योंकि यह प्रशिक्षित करने के लिए तेज़ था। उस पत्र में वे CNNs, सिग्मॉइड और हाइपरबोलिक स्पर्शरेखा फ़ंक्शंस (यानी $f(x) = tanh(x)$ और f ( x = 1 ) में उपयोग किए जाने वाले अधिक परंपरागत कार्यों के रूप में संतृप्त नॉनलाइनरिटीज़ का उल्लेख करते हैं।$f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$संतृप्त के रूप में)।

वे इन कार्यों को "संतृप्त" या "गैर-संतृप्त" क्यों कहते हैं? ये समारोह "संतृप्त" या "गैर-संतृप्त" किस अर्थ में हैं? उन शर्तों का क्या मतलब है जो संवेदी तंत्रिका नेटवर्क के संदर्भ में हैं? क्या वे मशीन लर्निंग (और सांख्यिकी) के अन्य क्षेत्रों में उपयोग किए जाते हैं?

Comments

मुझे भी यह कोरा जवाब बहुत मददगार लगा।

— फ्रैंक

Answer 1

सहज बोध

एक संतृप्त सक्रियण फ़ंक्शन इनपुट को निचोड़ता है।

---

परिभाषाएं

• $f$$(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
• $f$ संतृप्त हो रहा है यदि नॉन-सैचुरेटिंग नहीं है।$f$

ये परिभाषाएँ जटिल तंत्रिका नेटवर्क के लिए विशिष्ट नहीं हैं।

---

उदाहरण

Rectified Linear Unit (ReLU) सक्रियण फ़ंक्शन, जिसे रूप में परिभाषित किया गया है क्योंकि गैर-संतृप्त है क्योंकि :$f(x)=max(0,x)$$\lim_{z\to+\infty} f(z) = +\infty$

अवग्रह सक्रियण समारोह है, जो के रूप में परिभाषित किया गया है को संतृप्त है, क्योंकि यह के बीच श्रृंखला के लिए वास्तविक संख्या squashes :$f(x) = \frac{1}{1 + e^{-x}}$$[0,1]$

तानह (हाइपरबोलिक स्पर्शरेखा) सक्रियण क्रिया संतृप्त होती है क्योंकि यह वास्तविक संख्या को बीच :$[-1,1]$

(आंकड़े CS231n , MIT लाइसेंस के हैं)

Comments

आह, अच्छा समझ में आता है! मुझे पता है कि यह मेरा मूल प्रश्न नहीं था, लेकिन एमएल और सीएनएन के संदर्भ में वह संपत्ति क्या महत्वपूर्ण है?

— चार्ली पार्कर

एएनएन के लिए, एक बड़े आउटपुट के साथ एक इकाई होने से बचने के लिए जो एएनएन के आउटपुट लेयर पर बहुत अधिक प्रभाव डालता है।

— फ्रेंक डर्नोनकोर्ट 18

टैन और सिग्मॉइड के बीच अंतर क्या है? दोनों एक बंद रेंज में संख्या स्क्वैश! मुझे यह नहीं मिला, क्या आप इस अबेट को अधिक विस्तृत कर सकते हैं? मैं गणित में बुरा हूँ। (वैसे मैं एक सीएनएन के नजरिए से आ रहा हूं)

— रिका

@FranckDernoncourt क्या आपका मतलब तानाह सक्रियण समारोह के लिए संतृप्त करना था? मुझे लगता है कि कोई टाइपो है? :)

— कोडरस्पिनोज़ा

@tenCupMaximum: संतृप्त करने का अर्थ उस बिंदु तक भरना है, जहां और नहीं जोड़ा जा सकता है। एक संतृप्त फ़ंक्शन के संदर्भ में, इसका मतलब है कि एक निश्चित बिंदु के बाद, फ़ंक्शन के इनपुट में किसी भी तरह की वृद्धि अब इसके आउटपुट में एक (सार्थक) वृद्धि का कारण नहीं होगी, जो (बहुत लगभग) अपने अधिकतम मूल्य पर पहुंच गई है। उस बिंदु पर कार्य "सभी भरे हुए" हैं, इसलिए बोलने के लिए (या संतृप्त )।

— रुबिन वैन बर्गन

Answer 2

सबसे आम सक्रियण कार्य लॉग और टैनएच हैं। इन कार्यों में एक कॉम्पैक्ट रेंज होती है, जिसका अर्थ है कि वे तंत्रिका प्रतिक्रिया को वास्तविक संख्याओं के एक बंधे हुए उपसमुच्चय में संपीड़ित करते हैं। लॉग 0 और 1 के बीच आउटपुट के लिए इनपुट को संपीड़ित करता है, टैन एच -1 और 1 के बीच। ये फ़ंक्शन सीमाओं पर व्यवहार को सीमित करते हैं।

सीमा पर इनपुट theyj / ∂xj के संबंध में आउटपुट की ढाल बहुत छोटी है। इसलिए ग्रेडिएंट छोटा है इसलिए कंवर्सेशन के छोटे स्टेप्स इसलिए कंजर्वेशन के लिए अधिक समय है।