अनुप्रयोगों के साथ-साथ तंत्रिका नेटवर्क में उपयोग किए जाने वाले लागत कार्यों की एक सूची

133

तंत्रिका नेटवर्क के प्रदर्शन का मूल्यांकन करने में उपयोग किए जाने वाले सामान्य लागत कार्य क्या हैं?

विवरण

(बेझिझक इस सवाल के बाकी हिस्सों को छोड़ दें, मेरा इरादा यहाँ केवल इस बात पर स्पष्टीकरण देने के लिए है कि उत्तर सामान्य पाठक के लिए उन्हें अधिक समझने में मदद करने के लिए उपयोग कर सकते हैं)

मुझे लगता है कि सामान्य लागत के कार्यों की एक सूची के लिए उपयोगी होगा, कुछ तरीकों के साथ जो वे व्यवहार में उपयोग किए गए हैं। इसलिए यदि अन्य लोग इसमें रुचि रखते हैं तो मुझे लगता है कि एक समुदाय विकी शायद सबसे अच्छा तरीका है, या अगर यह विषय है तो हम इसे नीचे ले जा सकते हैं।

नोटेशन

तो शुरू करने के लिए, मैं एक संकेतन को परिभाषित करना चाहूंगा जिसका उपयोग हम सभी इनका वर्णन करते समय करते हैं, इसलिए उत्तर एक दूसरे के साथ अच्छी तरह से फिट होते हैं।

यह अंकन नीलसन की पुस्तक का है ।

एक फीडफॉर्वर्ड न्यूरल नेटवर्क न्यूरॉन्स की कई परतें एक साथ जुड़ी होती हैं। फिर यह एक इनपुट में लेता है, वह इनपुट नेटवर्क के माध्यम से "ट्रिकल" होता है और फिर न्यूरल नेटवर्क आउटपुट वेक्टर देता है।

अधिक औपचारिक रूप से, फोन की सक्रियता (उत्पादन उर्फ) में न्यूरॉन परत है, जहां है इनपुट वेक्टर में तत्व। $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

फिर हम अगली परत के इनपुट को निम्न संबंध से पिछले कर सकते हैं:

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

कहाँ पे

$\sigma$ सक्रियण फ़ंक्शन है,

$w^i_{jk}$ से वजन है में न्यूरॉन के लिए परत में न्यूरॉन परत, $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

$b^i_j$ न्यूरॉन का पूर्वाग्रह है परत में, और $j^{th}$ $i^{th}$

$a^i_j$ न्यूरॉन के सक्रियण मान का प्रतिनिधित्व करता है लेयर में। $j^{th}$ $i^th$

कभी-कभी हम को , दूसरे शब्दों में, सक्रियण फ़ंक्शन को लागू करने के लिए एक न्यूरॉन का सक्रियण मान * । $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

यहां छवि विवरण दर्ज करें

अधिक संक्षिप्त संकेतन के लिए हम लिख सकते हैं

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

इस फॉर्मूले का उपयोग करने के लिए कुछ इनपुट लिए एक फीडफॉर्वर्ड नेटवर्क के आउटपुट की गणना करने के लिए , सेट करें , फिर , , ..., गणना करें। , जहाँ m परतों की संख्या है। $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

परिचय

एक लागत फ़ंक्शन एक उपाय है "कितना अच्छा" एक तंत्रिका नेटवर्क ने इसे प्रशिक्षण नमूना और अपेक्षित आउटपुट के संबंध में दिया। यह वजन और गैसों जैसे चर पर भी निर्भर हो सकता है।

एक लागत फ़ंक्शन एक एकल मान है, न कि एक वेक्टर, क्योंकि यह यह बताता है कि तंत्रिका नेटवर्क ने समग्र रूप से कितना अच्छा किया।

विशेष रूप से, एक लागत फ़ंक्शन प्रपत्र का है

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

जहाँ हमारे तंत्रिका नेटवर्क का भार है, हमारे तंत्रिका नेटवर्क का पक्षपाती है, एकल प्रशिक्षण नमूने का इनपुट है, और उस प्रशिक्षण नमूने का वांछित आउटपुट है। ध्यान दें कि यह फ़ंक्शन संभावित रूप से और पर भी निर्भर कर सकता है क्योंकि में कोई न्यूरॉन है , क्योंकि वे मान , और पर निर्भर हैं । $W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

Backpropagation में, लागत फ़ंक्शन का उपयोग हमारी आउटपुट लेयर, , के माध्यम से होने वाली त्रुटि की गणना करने के लिए किया जाता है $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{i})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$ ।

जिसे वेक्टर के माध्यम से भी लिखा जा सकता है

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{i})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$ ।

हम दूसरे समीकरण के संदर्भ में लागत कार्यों की ढाल प्रदान करेंगे, लेकिन यदि कोई इन परिणामों को स्वयं साबित करना चाहता है, तो पहले समीकरण का उपयोग करने की सिफारिश की जाती है क्योंकि इसके साथ काम करना आसान है।

लागत समारोह आवश्यकताओं

Backpropagation में उपयोग करने के लिए, एक लागत फ़ंक्शन को दो गुणों को पूरा करना होगा:

1: लागत फ़ंक्शन को एक औसत के रूप में लिखा जाना चाहिए $C$

C = \frac{1}{n} \sum_{x} C_{x}

$C=\frac{1}{n} \sum\limits_x C_x$

व्यक्तिगत प्रशिक्षण उदाहरणों के लिए लागत से अधिक कार्य , । $C_x$ $x$

ऐसा है तो यह हमें एकल प्रशिक्षण उदाहरण के लिए ग्रेडिएंट (वजन और पक्षपात के संबंध में) की गणना करने की अनुमति देता है, और ग्रेडिएंट डिसेंट चलाता है।

2: लागत फ़ंक्शन को आउटपुट मान अलावा तंत्रिका नेटवर्क के किसी भी सक्रियण मान पर निर्भर नहीं होना चाहिए । $C$ $a^L$

तकनीकी रूप से एक लागत फ़ंक्शन किसी भी या पर निर्भर हो सकता है । हम सिर्फ इस प्रतिबंध को बनाते हैं ताकि हम बैकप्रोपगेट कर सकें, क्योंकि अंतिम परत के ग्रेडिएंट को खोजने के लिए समीकरण केवल एक ही है जो लागत फ़ंक्शन पर निर्भर है (बाकी अगली परत पर निर्भर हैं)। यदि लागत फ़ंक्शन आउटपुट एक के अलावा अन्य सक्रियण परतों पर निर्भर करता है, तो बैकप्रॉपैगेशन अमान्य होगा क्योंकि "पीछे की ओर चाल" का विचार अब काम नहीं करता है। $a^i_j$ $z^i_j$

इसके अलावा, सक्रियण फ़ंक्शन के लिए सभी लिए आउटपुट । इस प्रकार इन लागत कार्यों को केवल उस सीमा के भीतर परिभाषित किया जाना चाहिए (उदाहरण के लिए, मान्य है क्योंकि हम ) की गारंटी देते हैं । $0\leq a^L_j \leq 1$ $j$ $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— Phylliida
स्रोत

यह एक प्रश्नोत्तर साइट है, और इस पोस्ट का प्रारूप वास्तव में फिट नहीं है। आपको संभवतः एक उत्तर में अधिकांश सामग्री डालनी चाहिए, और बस सवाल छोड़ना चाहिए (जैसे एनएन में उपयोग किए जाने वाले लागत कार्यों की सूची क्या है?)।

— रोजर फैन

ठीक है, क्या यह बेहतर है? मुझे लगता है कि परिभाषाएँ महत्वपूर्ण हैं अन्यथा उत्तर उन लोगों के लिए अस्पष्ट हो जाते हैं जो लेखक द्वारा उपयोग की जाने वाली शब्दावली से परिचित नहीं हैं।

— फीलिडा

लेकिन क्या होगा अगर एक अलग उत्तर अलग संकेतन या शब्दावली का उपयोग करता है?

— रोजर फैन

विचार यह है कि हर कोई यहां एक ही शब्दावली का उपयोग करता है, और यह कि अगर यह अलग है तो हम इसे इस में बदल देते हैं, इसलिए उत्तर एक दूसरे के साथ "फिट" होते हैं। लेकिन मुझे लगता है कि मैं उस टुकड़े को हटा सकता था अगर आपको नहीं लगता कि यह मददगार है।

— फीलिडा

मुझे लगता है कि जिस प्रश्न में विस्तार होता है वह वास्तव में आवश्यक या प्रासंगिक नहीं है। यह थोड़ा ज्यादा और सीमित लगता है, लेकिन यह सिर्फ मुझे है।

— रोजर फैन

जवाबों:

यहां वे हैं जो मैं अब तक समझता हूं। जब 0 और 1 के बीच मान दिया जाता है, तो इनमें से अधिकांश सर्वोत्तम काम करते हैं।

द्विघात लागत

इसे माध्य चुकता त्रुटि , अधिकतम संभावना और योग चुकता त्रुटि के रूप में भी जाना जाता है , इसे इस प्रकार परिभाषित किया गया है:

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

एक तंत्रिका नेटवर्क और कुछ नमूना के उत्पादन के संबंध में इस लागत समारोह की ढाल है: $r$

\nabla_{a} C_{M S T} = (a^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

क्रॉस-एन्ट्रापी लागत

बर्नौली नेगेटिव लॉग-लाइक और बाइनरी क्रॉस-एन्ट्रोपी के रूप में भी जाना जाता है

C_{C E} (W, B, S^{r}, E^{r}) = - \sum_{j} [E_{j}^{r} ln a_{j}^{L} + (1 - E_{j}^{r}) ln (1 - a_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

\nabla_{a} C_{C E} = \frac{(a^{L} - E^{r})}{(1 - a^{L}) (a^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

ययय ययय ययय यय

इसके लिए कुछ पैरामीटर चुनने की आवश्यकता है जो आपको लगता है कि आपको वह व्यवहार देगा जो आप चाहते हैं। आमतौर पर आपको बस इसके साथ खेलना होगा जब तक कि चीजें अच्छी न हों। $\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

जहाँ लिए बस आशुलिपि है । $\text{exp}(x)$ $e^x$

\nabla_{a} C = \frac{2}{τ} (a^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

मैं को फिर से लिख सकता हूं , लेकिन यह बेमानी लगता है। बिंदु एक ढाल की गणना करता है और फिर इसे गुणा करता है । $C_{EXP}$ $C_{EXP}$

नरक की दूरी

C_{H D} (W, B, S^{r}, E^{r}) = \frac{1}{\sqrt{2}} \sum_{j} (\sqrt{a_{j}^{L}} - \sqrt{E_{j}^{r}})^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

आप इसके बारे में अधिक जानकारी यहाँ पा सकते हैं । इसके लिए सकारात्मक मूल्य और आदर्श रूप से और बीच के मूल्यों का होना आवश्यक है । निम्नलिखित शब्दों के लिए भी यही सच है। $0$ $1$

\nabla_{a} C = \frac{\sqrt{a^{L}} - \sqrt{E^{r}}}{\sqrt{2} \sqrt{a^{L}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

कुलबबैक-लीब्लर डाइवर्जेंस

सूचना विचलन , सूचना लाभ , सापेक्ष एन्ट्रापी , KLIC या KL डायवर्जन ( यहाँ देखें ) के रूप में भी जाना जाता है ।

कुलबबैक-लीबलर विचलन आमतौर पर , को ।

D_{K L} (P ‖ Q) = \sum_{i} P (i) \ln \frac{P (i)}{Q (i)}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

जहां गुम हुई सूचना का एक माप है जब का उपयोग लगभग किया जाता है । इस प्रकार हम सेट करना चाहते हैं और , क्योंकि हम को मापने के लिए कितनी जानकारी है जब हम का उपयोग खो दिया है चाहता हूँ अनुमान लगाने के लिए । यह हमें देता है $D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

यहाँ अन्य शब्दशः और को सेट करने के इसी विचार का उपयोग करते हैं । $P=E^i$ $Q=a^L$

\nabla_{a} C = - \frac{E^{r}}{a^{L}}

$\nabla_a C = -\frac{E^r}{a^L}$

सामान्यीकृत कुलबबैक-लीबलर विचलन

से यहाँ ।

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}} - \sum_{j} (E_{j}^{r}) + \sum_{j} (a_{j}^{L})

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

\nabla_{a} C = \frac{a^{L} - E^{r}}{a^{L}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

इटकुरा-सिटो दूरी

यहाँ से भी ।

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} (\frac{E_{j}^{r}}{a_{j}^{L}} - \log \frac{E_{j}^{r}}{a_{j}^{L}} - 1)

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

\nabla_{a} C = \frac{a^{L} - E^{r}}{{(a^{L})}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

जहाँ । दूसरे शब्दों में, बस प्रत्येक तत्व को चुकता करने के बराबर है । $\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— Phylliida को दर्शाता है
स्रोत

साझा करने के लिए धन्यवाद, आप इन पर भी विचार कर सकते हैं: github.com/torch/nn/blob/master/doc/criterion.md

— यानिस असैल

क्रॉस-एन्ट्रापी व्युत्पन्न के हर में एक छोटी सी गलती है, यह a*(1-a)नहीं होना चाहिएa*(1+a)

— अमरो

औसत त्रुटि के बजाय त्रुटि मात्राओं को कम करने के लिए पिनबॉल हानि फ़ंक्शन को दिखाना भी अच्छा होगा। निर्णय समर्थन प्रणाली में बहुत उपयोग किया जाता है।

— रिकार्डो क्रूज़

मैं इनके लिए रेखांकन कहाँ देख सकता हूँ?

— coiso

द्विघात लागत फ़ंक्शन के संबंध में, आपको ध्यान देना चाहिए कि "माध्य चुकता त्रुटि" "अधिकतम संभावना" "योग चुकता त्रुटि"। लेखक नाम का गलत तरीके से उपयोग कर सकते हैं, लेकिन वे एक ही चीज नहीं हैं ।

\neq

$\neq$

\neq

$\neq$

— जॉन

टिप्पणी करने के लिए प्रतिष्ठा नहीं है, लेकिन उन अंतिम 3 ग्रेडिएंट में साइन त्रुटियां हैं।

केएल विचलन में, यह समान संकेत त्रुटि सामान्यीकृत केएल विचलन में प्रकट होती है।

\begin{aligned} C & = \sum_{j} E_{j} \log (E_{j} / a_{j}) \\ = \sum_{j} E_{j} \log (E_{j}) - E_{j} \log (a_{j}) \\ d C & = - \sum_{j} E_{j} d \log (a_{j}) \\ = - \sum_{j} (E_{j} / a_{j}) d a_{j} \\ \nabla_{a} C & = \frac{- E}{a} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$

- दूरी में,

\begin{aligned} C & = \sum_{j} (E_{j} / a_{j}) - \log (E_{j} / a_{j}) - 1 \\ = \sum_{j} (E_{j} / a_{j}) - \log (E_{j}) + \log (a_{j}) - 1 \\ d C & = \sum_{j} (- E_{j} / a_{j}^{2}) d a_{j} + d \log (a_{j}) \\ = \sum_{j} (1 / a_{j}) d a_{j} - (E_{j} / a_{j}^{2}) d a_{j} \\ = \sum_{j} (a_{j} - E_{j}) / a_{j}^{2} d a_{j} \\ \nabla_{a} C & = \frac{a - E}{(a)^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— खुलकर
स्रोत