यह कई तंत्रिका नेटवर्क पैकेजों में मानक लगता है ताकि आउटपुट परत में सक्रियण फ़ंक्शन के साथ उद्देश्य फ़ंक्शन को जोड़ा जा सके।
उदाहरण के लिए, प्रतिगमन के लिए उपयोग की जाने वाली एक रेखीय आउटपुट परत के लिए यह एक चुकता त्रुटि उद्देश्य फ़ंक्शन के लिए मानक (और अक्सर केवल विकल्प) है। एक और सामान्य जोड़ी लॉजिस्टिक आउटपुट और लॉग लॉस (या क्रॉस-एन्ट्रॉपी) है। और फिर भी एक और सॉफ्टमैक्स और मल्टी लॉग लॉस है।
अंकन, का उपयोग करते हुए पूर्व सक्रियण मूल्य (पिछले परत से वजन बार सक्रियण की राशि) के लिए, सक्रियण के लिए, जमीनी सच्चाई के लिए प्रशिक्षण के लिए इस्तेमाल किया उत्पादन न्यूरॉन के सूचकांक के लिए।
रैखिक सक्रियण चुकता त्रुटि के साथ चला जाता है
सिग्मॉइड सक्रियण a_i लॉगलॉस / क्रॉस-एंट्रॉपी उद्देश्य के साथ जाता है
सॉफ्टमैक्स सक्रियण a_i मल्टीस्केल लॉगलॉस उद्देश्य के साथ जाता है
वे वही हैं जिन्हें मैं जानता हूं, और मुझे उम्मीद है कि कई ऐसे हैं जो मैंने अभी भी नहीं सुने हैं।
ऐसा लगता है कि उत्पादन और लक्ष्य [0,1] सीमा में होने पर लॉग लॉस केवल काम करेगा और संख्यात्मक रूप से स्थिर रहेगा। तो यह एक logloss उद्देश्य समारोह के साथ रैखिक उत्पादन परत की कोशिश करने के लिए समझ में नहीं आ सकता है। जब तक कि एक अधिक सामान्य लॉगलॉस फ़ंक्शन नहीं होता है जो वाई के मूल्यों के साथ सामना कर सकते हैं जो सीमा के बाहर हैं?
हालाँकि, यह एक वर्ग त्रुटि उद्देश्य के साथ sigmoid आउटपुट की कोशिश करने के लिए बहुत बुरा नहीं लगता है। यह स्थिर होना चाहिए और कम से कम अभिसरण होना चाहिए।
मैं समझता हूं कि इन जोड़ियों के पीछे कुछ डिज़ाइन यह है कि यह लिए सूत्र बनाता है - जहां उद्देश्य फ़ंक्शन का मूल्य है - बैक प्रचार के लिए आसान है। लेकिन अभी भी यह संभव होना चाहिए कि अन्य जोड़ियों का उपयोग करके व्युत्पन्न हो। इसके अलावा, कई अन्य सक्रियण फ़ंक्शन हैं जो आमतौर पर आउटपुट परतों में नहीं देखे जाते हैं, लेकिन संभवत: जैसे कि हो सकता है , और जहां यह स्पष्ट नहीं है कि उद्देश्य फ़ंक्शन क्या लागू किया जा सकता है।tanh
तंत्रिका नेटवर्क की वास्तुकला को डिजाइन करते समय क्या कोई स्थितियां हैं, जो आपको आउटपुट सक्रियण और उद्देश्य कार्यों के "गैर-मानक" युग्मों का उपयोग करना चाहिए या करना चाहिए?