मैं सिर्फ न्यूरॉन कवरेज की अवधारणा पर ठोकर खाई, जो एक तंत्रिका नेटवर्क में सक्रिय न्यूरॉन्स और कुल न्यूरॉन्स का अनुपात है। लेकिन न्यूरॉन के लिए "सक्रिय" होने का क्या मतलब है? मुझे पता है कि सक्रियण कार्य क्या हैं, लेकिन सक्रिय होने का क्या मतलब है जैसे कि ReLU या सिग्मोइड फ़ंक्शन के मामले में?
जवाबों:
एक न्यूरॉन को तब सक्रिय कहा जाता है जब इसका उत्पादन एक सीमा से अधिक होता है, आमतौर पर 0।
उदाहरण के लिए :
वही सिग्मॉयड या अन्य सक्रियण कार्यों के लिए जाता है।
"सक्रिय" शब्द का उपयोग ज्यादातर सक्रियण कार्यों के बारे में बात करने के लिए किया जाता है जो केवल एक मान को आउटपुट करता है (0 को छोड़कर) जब सक्रियण फ़ंक्शन का इनपुट एक निश्चित ट्रेशोल्ड से अधिक होता है।
विशेष रूप से चर्चा करते समय ReLU शब्द "सक्रिय" का उपयोग किया जा सकता है। जब यह आउटपुट 0 से अधिक होता है, तो यह ReLU "सक्रिय" होगा, जो इनपुट के 0 से अधिक होने पर भी होता है।
अन्य सक्रियण कार्य, जैसे सिग्मोइड, हमेशा 0 से अधिक मूल्य देता है, और इसमें कोई विशेष त्रिशूल नहीं होता है। इसलिए, "सक्रिय" शब्द यहां कम अर्थ का है।
भले ही हम उनके बारे में बहुत कम जानते हैं, लेकिन मस्तिष्क में न्यूरॉन्स के पास भी ऐसा कुछ होता है जो एक सक्रियण फ़ंक्शन से मिलता-जुलता होता है, जिसमें "एक्टिवेशन ट्रेशोल्ड" होता है।