आउटपुट परत में क्रॉस-एंट्रॉपी या लॉग लाइकैलिटी

मैंने इस पृष्ठ को पढ़ा: http://neuralnetworksanddeeplearning.com/chap3.html

और यह कहा कि क्रॉस-एन्ट्रॉपी के साथ सिग्मॉइड आउटपुट लेयर लॉग-लाइकैलिटी के साथ सॉफ्टमैक्स आउटपुट लेयर के साथ काफी समान है।

क्या होगा अगर मैं आउटपुट परत में क्रॉस एन्ट्रॉपी के साथ लॉग-लाइबिलिटी या सॉफ्टमैक्स के साथ सिग्मॉइड का उपयोग करता हूं? यह ठीक है? क्योंकि मुझे लगता है कि क्रॉस एन्ट्रॉपी (eq.57) के बीच समीकरण में केवल थोड़ा अंतर है:

C = - \frac{1}{n} \sum_{x} (y \ln a + (1 - y) \ln (1 - a))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

और लॉग लाइबिलिटी (eq.80):

C = - \frac{1}{n} \sum_{x} (\ln a_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax

— Malioboro
स्रोत

नकारात्मक लॉग संभावना (eq.80) को मल्टीक्लास क्रॉस-एन्ट्रोपी (रेफ: पैटर्न रिकॉग्निशन एंड मशीन लर्निंग सेक्शन 4.3.4) के रूप में भी जाना जाता है, क्योंकि वे वास्तव में एक ही सूत्र की दो अलग-अलग व्याख्याएं हैं।

eq.57 बर्नौली वितरण की नकारात्मक लॉग संभावना है, जबकि eq.80 एक अवलोकन (बर्नौली का एक मल्टीस्कूल संस्करण) के साथ बहुराष्ट्रीय वितरण की नकारात्मक लॉग संभावना है।

बाइनरी वर्गीकरण समस्याओं के लिए, सॉफ्टमैक्स फ़ंक्शन प्रत्येक वर्ग की भविष्यवाणी देने के लिए दो मान (0 और 1 और 1 से 1 के बीच) को आउटपुट करता है । जबकि सिग्मोइड फ़ंक्शन एक वर्ग की भविष्यवाणी देने के लिए एक मान (0 और 1 के बीच) का उत्पादन करता है (इसलिए अन्य वर्ग 1-पी है)।

इसलिए eq.80 को सिग्मॉइड आउटपुट पर सीधे लागू नहीं किया जा सकता है, हालांकि यह अनिवार्य रूप से eq.57 के समान नुकसान है।

इसका उत्तर भी देखें ।

निम्नलिखित द्विआधारी वर्गीकरण समस्याओं के लिए (सिग्मॉइड + बाइनरी क्रॉस-एंट्रॉपी) और (सॉफ्टमैक्स + मल्टीक्लास क्रॉस-एंट्रोपी) के बीच संबंध का एक सरल चित्रण है।

$0.5$

σ (w x + b) = 0.5

$\sigma(wx+b)=0.5$

w x + b = 0

$wx+b=0$

\frac{e^{w_{1} x + b_{1}}}{e^{w_{1} x + b_{1}} + e^{w_{2} x + b_{2}}} = 0.5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} x + b_{1}} = e^{w_{2} x + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} x + b_{1} = w_{2} x + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) x + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

अनुवर्ती निर्णय दो सीमाओं का उपयोग करके प्राप्त की गई सीमाओं को दर्शाते हैं, जो लगभग समान हैं।

— dontloo
स्रोत

आप किन समीकरणों की बात कर रहे हैं? पुस्तक में, समीकरणों को अलग तरह से गिना जाता है। शायद यह पुस्तक का एक विशिष्ट संस्करण है? क्या आप इसे स्पष्ट कर सकते हैं? मैं पुस्तक को users.isr.ist.utl.pt/~wurmd/Livros/school/… , पृष्ठ 209 (खंड 4.3.4) पर देख रहा हूं ।

— nbro

@nbro आह भ्रम के लिए खेद है, मैं प्रश्न में दिए गए लिंक पृष्ठ में समीकरणों का मतलब है।

— नॉट्लू