पेशेवरों / विपक्षों के साथ तंत्रिका नेटवर्क में सक्रियण कार्यों की व्यापक सूची

क्या कोई संदर्भ दस्तावेज हैं जो तंत्रिका नेटवर्क में सक्रियण कार्यों की एक व्यापक सूची उनके पेशेवरों / विपक्षों के साथ देते हैं (और आदर्श रूप से प्रकाशनों के कुछ संकेत जहां वे सफल थे या इतने सफल नहीं थे)?

neural-networks references

— फ्रेंक डर्नोनकोर्ट
स्रोत

मुझे ANN के बारे में पर्याप्त जानकारी नहीं है, लेकिन जब तक कि सक्रियण कार्य आकार में पर्याप्त रूप से भिन्न नहीं होते हैं, तब तक उन्हें अलग बताना बहुत मुश्किल होगा। एक अनुरूप स्थिति की चर्चा के लिए, आप यहां मेरा जवाब देख सकते हैं: लॉजिट और प्रोबेट मॉडल के बीच अंतर ।

— गूँग

नहीं, इससे बहुत बड़ा फर्क पड़ता है।

— वेलियामी

en.wikipedia.org/wiki/Activation_function एक अच्छा संसाधन है; आप कई अन्य का उपयोग कर सकते हैं, जिनमें शामिल हैं sin(x), openreview.net/pdf?id=Sks3zF9eg देखें ।

— पिओटर मिग्डल

सक्रियण क्रियाओं

— कुमार

जवाबों:

143

मैं उन लोगों की सूची यहाँ बनाना शुरू करूँगा, जिन्हें मैंने अब तक सीखा है। जैसा कि @marcodena ने कहा, पेशेवरों और विपक्ष के लिए और अधिक कठिन है क्योंकि यह सिर्फ इन आंकड़ों को आजमाने से सीखा है, लेकिन मैं कम से कम एक सूची है कि वे क्या चोट नहीं कर सकते हैं।

पहले, मैं संकेतन को स्पष्ट रूप से परिभाषित करूँगा ताकि कोई भ्रम न हो:

नोटेशन

यह अंकन नीलसन की पुस्तक का है ।

एक फीडफॉर्वर्ड न्यूरल नेटवर्क न्यूरॉन्स की कई परतें एक साथ जुड़ी होती हैं। यह एक इनपुट में लेता है, फिर उस इनपुट नेटवर्क के माध्यम से "ट्रिकल" होता है और तंत्रिका नेटवर्क एक आउटपुट वेक्टर देता है।

अधिक औपचारिक रूप से, फोन सक्रियण के (उर्फ उत्पादन) में न्यूरॉन परत है, जहां है इनपुट वेक्टर में तत्व। $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

फिर हम अगली परत के इनपुट को निम्न संबंध से पिछले कर सकते हैं:

a_{j}^{i} = σ (\sum_{k} (w_{j k}^{i} \cdot a_{k}^{i - 1}) + b_{j}^{i})

$a^i_j = \sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

कहाँ पे

, सक्रियण समारोह है $\sigma$
, न्यूरॉन से लेयर से लेयरमें न्यूरॉन है, $w^i_{jk}$ $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$
, लेयरमें न्यूरॉनका पूर्वाग्रह हैऔर $b^i_j$ $j^{th}$ $i^{th}$
लेयरमें न्यूरॉनके सक्रियण मान को दर्शाता है। $a^i_j$ $j^{th}$ $i^{th}$

कभी कभी हम लिखने प्रतिनिधित्व करने के लिए , दूसरे शब्दों में, सक्रियण समारोह लागू करने से पहले एक न्यूरॉन की सक्रियता मूल्य। $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

यहाँ छवि विवरण दर्ज करें

अधिक संक्षिप्त संकेतन के लिए हम लिख सकते हैं

a^{i} = σ (w^{i} \times a^{i - 1} + b^{i})

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

कुछ इनपुट के लिए एक feedforward नेटवर्क के उत्पादन में गणना करने के लिए इस सूत्र का उपयोग करने के लिए , सेट , तो गणना है, जहां परतों की संख्या है। $I \in \mathbb{R}^n$ $a^1 = I$ $a^2, a^3, \ldots, a^m$ $m$

सक्रियण कार्य

(निम्नलिखित में, हम पठनीयता के लिए बजाय लिखेंगे ) $\exp(x)$ $e^x$

पहचान

एक रैखिक सक्रियण फ़ंक्शन के रूप में भी जाना जाता है।

a_{j}^{i} = σ (z_{j}^{i}) = z_{j}^{i}

$a^i_j = \sigma(z^i_j) = z^i_j$

पहचान

चरण

a_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} 0 & if z_{j}^{i} < 0 \\ 1 & if z_{j}^{i} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < 0 \\ 1 & \text{if } z^i_j > 0 \end{cases}$

चरण

टुकडें के अनुसार रैखिक

कुछ और , जो हमारी "रेंज" है। इस श्रेणी की तुलना में कम सब कुछ 0 होगा, और इस सीमा से अधिक सब कुछ होगा। 1. कुछ भी अन्य के बीच रैखिक रूप से प्रक्षेपित होता है। औपचारिक रूप से: $x_{\min}$ $x_{\max}$

a_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} 0 & if z_{j}^{i} < x_{min} \\ m z_{j}^{i} + b & if x_{min} \leq z_{j}^{i} \leq x_{max} \\ 1 & if z_{j}^{i} > x_{max} \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < x_{\min} \\ m z^i_j+b & \text{if } x_{\min} \leq z^i_j \leq x_{\max} \\ 1 & \text{if } z^i_j > x_{\max} \end{cases}$

कहाँ पे

m = \frac{1}{x_{max} - x_{min}}

$m = \frac{1}{x_{\max}-x_{\min}}$

तथा

b = - m x_{min} = 1 - m x_{max}

$b = -m x_{\min} = 1 - m x_{\max}$

टुकडें के अनुसार रैखिक

अवग्रह

a_{j}^{i} = σ (z_{j}^{i}) = \frac{1}{1 + \exp (- z_{j}^{i})}

$a^i_j = \sigma(z^i_j) = \frac{1}{1+\exp(-z^i_j)}$

अवग्रह

पूरक लॉग-लॉग

a_{j}^{i} = σ (z_{j}^{i}) = 1 - \exp (- \exp (z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = 1 − \exp\!\big(−\exp(z^i_j)\big)$

पूरक लॉग-लॉग

द्विध्रुवी

a_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} - 1 & if z_{j}^{i} < 0 \\ 1 & if z_{j}^{i} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} -1 & \text{if } z^i_j < 0 \\ \ \ \ 1 & \text{if } z^i_j > 0 \end{cases}$

द्विध्रुवी

द्विध्रुवी सिग्मॉइड

a_{j}^{i} = σ (z_{j}^{i}) = \frac{1 - \exp (- z_{j}^{i})}{1 + \exp (- z_{j}^{i})}

$a^i_j = \sigma(z^i_j) = \frac{1-\exp(-z^i_j)}{1+\exp(-z^i_j)}$ द्विध्रुवी सिग्मॉइड

tanh

a_{j}^{i} = σ (z_{j}^{i}) = \tanh (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \tanh(z^i_j)$

tanh

लेकन के तन

कुशल बैकप्रॉप देखें ।

a_{j}^{i} = σ (z_{j}^{i}) = 1.7159 \tanh (\frac{2}{3} z_{j}^{i})

$a^i_j = \sigma(z^i_j) = 1.7159 \tanh\!\left( \frac{2}{3} z^i_j\right)$

लेकन के तन

स्केल्ड:

लेकुन की तन्ह स्केल्ड

कठिन तन

a_{j}^{i} = σ (z_{j}^{i}) = max (- 1, min (1, z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = \max\!\big(-1, \min(1, z^i_j)\big)$

कठिन तन

पूर्ण

a_{j}^{i} = σ (z_{j}^{i}) =∣ z_{j}^{i} ∣

$a^i_j = \sigma(z^i_j) = \mid z^i_j \mid$

पूर्ण

सही करनेवाला

रेक्टीफाइड लाइनर यूनिट (ReLU), मैक्स या रैम्प फंक्शन के रूप में भी जाना जाता है ।

a_{j}^{i} = σ (z_{j}^{i}) = max (0, z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)$

सही करनेवाला

ReLU के संशोधन

ये कुछ सक्रियण कार्य हैं जो मैं उस के साथ खेल रहा हूं जो रहस्यमय कारणों से MNIST के लिए बहुत अच्छा प्रदर्शन करता है।

a_{j}^{i} = σ (z_{j}^{i}) = max (0, z_{j}^{i}) + \cos (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\cos(z^i_j)$

स्केल्ड:

a_{j}^{i} = σ (z_{j}^{i}) = max (0, z_{j}^{i}) + \sin (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\sin(z^i_j)$

स्केल्ड:

चिकना करनेवाला

स्मूथ रेक्टीफाइड लाइनर यूनिट, स्मूथ मैक्स या सॉफ्ट प्लस के रूप में भी जाना जाता है

ए_{जे}^{मैं} = σ (z_{जे}^{मैं}) = लॉग इन करें (1 + \exp (z_{जे}^{मैं}))

$a^i_j = \sigma(z^i_j) = \log\!\big(1+\exp(z^i_j)\big)$

चिकना करनेवाला

Logit

a_{j}^{i} = σ (z_{j}^{i}) = \log (\frac{z_{j}^{i}}{(1 - z_{j}^{i})})

$a^i_j = \sigma(z^i_j) = \log\!\bigg(\frac{z^i_j}{(1 − z^i_j)}\bigg)$

Logit

स्केल्ड:

लॉगड स्केल्ड

PROBIT

a_{j}^{i} = σ (z_{j}^{i}) = \sqrt{2} {erf}^{- 1} (2 z_{j}^{i} - 1)

$a^i_j = \sigma(z^i_j) = \sqrt{2}\,\text{erf}^{-1}(2z^i_j-1)$

$\text{erf}$

वैकल्पिक रूप से, इसे व्यक्त किया जा सकता है

a_{j}^{i} = σ (z_{j}^{i}) = ϕ (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \phi(z^i_j)$

$\phi$

PROBIT

स्केल्ड:

प्रोब स्केल्ड

कोसाइन

रैंडम किचन सिंक देखें ।

a_{j}^{i} = σ (z_{j}^{i}) = \cos (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \cos(z^i_j)$

कोसाइन

Softmax

a_{j}^{i} = \frac{\exp (z_{j}^{i})}{\sum_{k} \exp (z_{k}^{i})}

$a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$

$z^i_j$ $\exp(z^i_j)$ $z^i_j$ $0$

$\log(a^i_j)$

\log (a_{j}^{i}) = \log (\frac{\exp (z_{j}^{i})}{\sum_{k} \exp (z_{k}^{i})})

$\log(a^i_j) = \log\left(\frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}\right)$

\log (a_{j}^{i}) = z_{j}^{i} - \log (\sum_{k} \exp (z_{k}^{i}))

$\log(a^i_j) = z^i_j - \log(\sum\limits_k \exp(z^i_k))$

यहां हमें लॉग-सम-एक्सप-चाल का उपयोग करने की आवश्यकता है :

मान लें कि हम गणना कर रहे हैं:

\log (e^{2} + e^{9} + e^{11} + e^{- 7} + e^{- 2} + e^{5})

$\log(e^2 + e^9 + e^{11} + e^{-7} + e^{-2} + e^5)$

हम पहले सुविधा के लिए परिमाण द्वारा अपने घातांक को क्रमबद्ध करेंगे:

\log (e^{11} + e^{9} + e^{5} + e^{2} + e^{- 2} + e^{- 7})

$\log(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7})$

$e^{11}$ $\frac{e^{-11}}{e^{-11}}$

\log (\frac{e^{- 11}}{e^{- 11}} (e^{11} + e^{9} + e^{5} + e^{2} + e^{- 2} + e^{- 7}))

$\log(\frac{e^{-11}}{e^{-11}}(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7}))$

\log (\frac{1}{e^{- 11}} (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18}))

$\log(\frac{1}{e^{-11}}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

\log (e^{11} (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18}))

$\log(e^{11}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

\log (e^{11}) + \log (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18})

$\log(e^{11}) + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

1 1 + लॉग इन करें (इ^{0} + इ^{- 2} + इ^{- 6} + इ^{- 9} + इ^{- 13} + इ^{- 18})

$11 + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

$\log(e^{11})$ $e^{-11}$ $\leq 0$

$m=\max(z^i_1, z^i_2, z^i_3, ...)$

लॉग इन करें (\underset{क}{Σ} \exp (z_{क}^{मैं})) = म + लॉग इन करें (\underset{क}{Σ} \exp (z_{क}^{मैं} - म))

$\log\!(\sum\limits_k \exp(z^i_k)) = m + \log(\sum\limits_k \exp(z^i_k - m))$

हमारा सॉफ्टमैक्स फंक्शन तब बन जाता है:

ए_{जे}^{मैं} = \exp (लॉग इन करें (ए_{जे}^{मैं})) = \exp (z_{जे}^{मैं} - म - लॉग इन करें (\underset{क}{Σ} \exp (z_{क}^{मैं} - म)))

$a^i_j = \exp(\log(a^i_j))=\exp\!\left( z^i_j - m - \log(\sum\limits_k \exp(z^i_k - m))\right)$

एक सिदोते के रूप में, सॉफ्टमैक्स फ़ंक्शन का व्युत्पन्न है:

\frac{d σ (z_{j}^{i})}{d z_{j}^{i}} = σ^{'} (z_{j}^{i}) = σ (z_{j}^{i}) (1 - σ (z_{j}^{i}))

$\frac{d \sigma(z^i_j)}{d z^i_j}=\sigma^{\prime}(z^i_j)= \sigma(z^i_j)(1 - \sigma(z^i_j))$

ज़्यादातर बाहर

$z$ $a^i_j$

$n$

a_{j}^{i} = max_{k \in [1, n]} s_{j k}^{i}

$a^i_j = \max\limits_{k \in [1,n]} s^i_{jk}$

कहाँ पे

s_{j k}^{i} = a^{i - 1} ∙ w_{j k}^{i} + b_{j k}^{i}

$s^i_{jk} = a^{i-1} \bullet w^i_{jk} + b^i_{jk}$

$\bullet$ है डॉट उत्पाद )

$W^i$ $i^{\text{th}}$ $W^i$ $W^i_j$ $j$ $i-1$

$W^i$ $W^i_j$ $j$ $W^i_{jk}$ $k$ $j$ $i-1$

$b^i$ $b^i_j$ $j$ $i$

$b^i$ $i$ $b^i_j$ $b^i_{jk}$ $k$ $j^{\text{th}}$ न्यूरॉन।

$w^i_j$ $b^i_j$ $w^i_{jk}$ $a^{i-1}$ $i-1$ $b^i_{jk}$

रेडियल बेसिस फ़ंक्शन नेटवर्क

रेडियल बेसिस फंक्शन नेटवर्क फीडफॉर्वर्ड न्यूरल नेटवर्क्स का एक संशोधन है, जहां उपयोग करने के बजाय

ए_{जे}^{मैं} = σ (\underset{क}{Σ} (w_{जे क}^{मैं} \cdot ए_{क}^{मैं - 1}) + ख_{जे}^{मैं})

$a^i_j=\sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

$w^i_{jk}$ $k$ $\mu^i_{jk}$ $\sigma^i_{jk}$ पिछले परत में प्रत्येक नोड के लिए।

$\rho$ $\sigma^i_{jk}$ $a^i_j$ $z^i_{jk}$ पिछली परत में प्रत्येक नोड के लिए । एक विकल्प यूक्लिडियन दूरी का उपयोग करना है:

z_{जे क}^{मैं} = \sqrt{‖ (ए^{मैं - 1} - μ_{जे क}^{मैं} ‖} = \sqrt{\underset{ℓ}{Σ} (ए_{ℓ}^{मैं - 1} - μ_{जे क ℓ}^{मैं})^{2}}

$z^i_{jk}=\sqrt{\Vert(a^{i-1}-\mu^i_{jk}\Vert}=\sqrt{\sum\limits_\ell (a^{i-1}_\ell - \mu^i_{jk\ell})^2}$

$\mu^i_{jk\ell}$ $\ell^\text{th}$ $\mu^i_{jk}$ $\sigma^i_{jk}$

z_{जे क}^{मैं} = \sqrt{(ए^{मैं - 1} - μ_{जे क}^{मैं})^{टी} Σ_{जे क}^{मैं} (ए^{मैं - 1} - μ_{जे क}^{मैं})}

$z^i_{jk}=\sqrt{(a^{i-1}-\mu^i_{jk})^T \Sigma^i_{jk} (a^{i-1}-\mu^i_{jk})}$

$\Sigma^i_{jk}$ , के रूप में परिभाषित:

Σ_{जे क}^{मैं} = निदान (σ_{जे क}^{मैं})

$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

$\Sigma^i_{jk}$ $\sigma^i_{jk}$ $a^{i-1}$ $\mu^i_{jk}$ स्तंभ वैक्टर यहाँ के रूप में क्योंकि उस अंकन है कि सामान्य रूप से प्रयोग किया जाता है।

ये वास्तव में सिर्फ यह कह रहे हैं कि महालनोबिस दूरी को परिभाषित किया गया है

z_{जे क}^{मैं} = \sqrt{\underset{ℓ}{Σ} \frac{(ए_{ℓ}^{मैं - 1} - μ_{जे क ℓ}^{मैं})^{2}}{σ_{जे क ℓ}^{मैं}}}

$z^i_{jk}=\sqrt{\sum\limits_\ell \frac{(a^{i-1}_{\ell} - \mu^i_{jk\ell})^2}{\sigma^i_{jk\ell}}}$

$\sigma^i_{jk\ell}$ $\ell^\text{th}$ $\sigma^i_{jk}$ $\sigma^i_{jk\ell}$

$\Sigma^i_{jk}$ $\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

$a^i_j$

ए_{जे}^{मैं} = \underset{क}{Σ} w_{जे क}^{मैं} ρ (z_{जे क}^{मैं})

$a^i_j=\sum\limits_k w^i_{jk}\rho(z^i_{jk})$

इन नेटवर्क में वे कारणों से सक्रियण फ़ंक्शन को लागू करने के बाद वज़न से गुणा करना चुनते हैं।

$\mu^i_{jk}$ $\sigma^i_{jk}$ $a^i_j$ ऊपर । अंत में "संक्षेप" वेक्टर के साथ इसे दो परतों में विभाजित करना मुझे अजीब लगता है, लेकिन यह वही है जो वे करते हैं।

यहां भी देखें ।

रेडियल बेसिस फ़ंक्शन नेटवर्क सक्रियण कार्य

गाऊसी

ρ (z_{जे क}^{मैं}) = \exp (- \frac{1}{2} (z_{जे क}^{मैं})^{2})

$\rho(z^i_{jk}) = \exp\!\big(-\frac{1}{2} (z^i_{jk})^2\big)$

गाऊसी

Multiquadratic

$(x, y)$ $(z^i_j, 0)$ सेवा $(x, y)$ :

ρ (z_{जे क}^{मैं}) = \sqrt{(z_{जे क}^{मैं} - एक्स)^{2} + y^{2}}

$\rho(z^i_{jk}) = \sqrt{(z^i_{jk}-x)^2 + y^2}$

यह विकिपीडिया का है । यह बाध्य नहीं है, और इसका कोई सकारात्मक मूल्य हो सकता है, हालांकि मैं सोच रहा हूं कि क्या इसे सामान्य करने का कोई तरीका है।

कब $y=0$ , यह पूर्ण (एक क्षैतिज पारी के साथ) के बराबर है $x$ )।

Multiquadratic

उलटा बहुविकल्पी

चतुष्कोणीय के रूप में ही, सिवाय फ़्लिप के:

ρ (z_{जे क}^{मैं}) = \frac{1}{\sqrt{(z_{जे क}^{मैं} - एक्स)^{2} + y^{2}}}

$\rho(z^i_{jk}) = \frac{1}{\sqrt{(z^i_{jk}-x)^2 + y^2}}$

उलटा बहुविकल्पी

* एसवीजी का उपयोग करके इंटमैथ के ग्राफ से ग्राफिक्स ।

— Phylliida
स्रोत

सीवी में आपका स्वागत है। +6 यह फ़ेब्यूली सूचनात्मक है। मुझे उम्मीद है कि हम भविष्य में इसे और अधिक पसंद करेंगे।

— गंग

प्रपत्र का सुचारू रूप से सुधारा हुआ रैखिक कार्य भी है

\log (1 + \exp (x))

$\log(1+\exp(x))$ , और जांच।

— Memming

ठीक है, मुझे लगता है कि मैंने Logit, Probit और Complementary log-log को जोड़ा है, हालाँकि मुझे इन विषयों की गहरी समझ नहीं है, इसलिए हो सकता है कि मैंने उनके लिखित रूप को गलत समझा हो। क्या ये सही है?

— Phylliida

यह संदर्भों की एक अच्छी सूची वाला एक दिलचस्प पेपर होगा। उदाहरण के लिए arxiv.org/abs/1505.03654 । यदि आप एक कागज लिखने और अन्य संदर्भ चाहते हैं तो मुझसे संपर्क करने में संकोच न करें।

— हुनाफू

किसी को एलयू, लीक रेलु, पीआरईएलयू और आरआरएलयू के साथ इसे अपडेट करना चाहिए।

— विलीमी

इस तरह की एक सूची, हालांकि बहुत अधिक नहीं: http://cs231n.github.io/neural-networks-1/

आमतौर पर सक्रियण कार्यों का उपयोग किया जाता है

प्रत्येक सक्रियण फ़ंक्शन (या गैर-रैखिकता ) एक एकल संख्या लेता है और उस पर एक निश्चित निश्चित गणितीय ऑपरेशन करता है। आपके व्यवहार में कई सक्रियण कार्य हो सकते हैं:

वाम: अवग्रह गैर linearity वास्तविक संख्या squashes के बीच लेकर [0,1] अधिकार: tanh गैर linearity वास्तविक संख्या squashes के बीच लेकर [-1,1]।
अवग्रह। सिग्मॉइड गैर-रैखिकता का गणितीय रूप है $\sigma(x) = 1 / (1 + e^{-x})$ और बाईं ओर ऊपर की छवि में दिखाया गया है। जैसा कि पिछले भाग में बताया गया था, यह एक वास्तविक-मूल्यवान संख्या लेता है और "स्क्वैश" में 0 से 1. के बीच होता है। विशेष रूप से, बड़ी नकारात्मक संख्या 0 हो जाती है और बड़ी संख्या में सकारात्मक संख्या बन जाती है। सिग्मॉइड फ़ंक्शन को ऐतिहासिक रूप से लगातार उपयोग करते देखा गया है चूँकि न्यूरॉन की फायरिंग दर के रूप में इसकी अच्छी व्याख्या है: मान लिया गया अधिकतम आवृत्ति (1) पर पूरी तरह से संतृप्त फायरिंग से बिल्कुल नहीं (0)। व्यवहार में, सिग्मॉइड गैर-रैखिकता हाल ही में पक्ष से बाहर हो गई है और इसका उपयोग शायद ही कभी किया जाता है। इसकी दो बड़ी कमियां हैं:

सिग्मोइड संतृप्त होते हैं और ग्रैडिएंट्स को मारते हैं । सिग्माइड न्यूरॉन की एक बहुत ही अवांछनीय संपत्ति यह है कि जब न्यूरॉन की सक्रियता 0 या 1 की पूंछ पर बैठती है, तो इन क्षेत्रों में ढाल लगभग शून्य है। याद रखें कि बैकप्रोपेगेशन के दौरान, इस (स्थानीय) ग्रेडिएंट को पूरे उद्देश्य के लिए इस गेट के आउटपुट के ग्रेडिएंट से गुणा किया जाएगा। इसलिए, अगर स्थानीय ढाल बहुत छोटा है, तो यह प्रभावी रूप से ढाल को "मार" देगा और लगभग कोई संकेत न्यूरॉन के माध्यम से इसके वजन और उसके डेटा तक पुनरावृत्ति नहीं करेगा। इसके अतिरिक्त, संतृप्ति को रोकने के लिए सिग्मॉइड न्यूरॉन्स के वजन को कम करते समय किसी को अतिरिक्त सावधानी बरतनी चाहिए। उदाहरण के लिए, यदि प्रारंभिक वजन बहुत बड़ा है, तो अधिकांश न्यूरॉन्स संतृप्त हो जाएंगे और नेटवर्क मुश्किल से सीखेंगे।

सिग्मॉइड आउटपुट शून्य केंद्रित नहीं हैं । न्यूरल नेटवर्क में प्रसंस्करण की बाद की परतों में न्यूरॉन्स के बाद से यह अवांछनीय है (जल्द ही इस पर) डेटा प्राप्त होगा जो शून्य-केंद्रित नहीं है। यह धीरे-धीरे वंश के दौरान गतिशीलता पर प्रभाव पड़ता है, क्योंकि यदि न्यूरॉन में आने वाला डेटा हमेशा सकारात्मक होता है (जैसे $x > 0$ में तत्वपूर्ण $f = w^Tx + b$ )), फिर भार पर ढाल $w$ क्या बैकप्रॉपैगैशन के दौरान या तो सभी सकारात्मक हो जाएंगे, या सभी नकारात्मक (पूरी अभिव्यक्ति के ढाल के आधार पर) होंगे $f$ )। यह वजन के लिए ढाल अद्यतन में अवांछनीय जिग-जैगिंग गतिकी का परिचय दे सकता है। हालाँकि, ध्यान दें कि एक बार इन ग्रेडिएंट्स को डेटा के एक बैच में जोड़ दिया जाए तो वज़न के लिए अंतिम अपडेट में परिवर्तनशील संकेत हो सकते हैं, जो इस समस्या को कम कर सकता है। इसलिए, यह एक असुविधा है लेकिन ऊपर संतृप्त सक्रियण समस्या की तुलना में इसके कम गंभीर परिणाम हैं।

Tanh। दायीं ओर ऊपर की छवि पर तन गैर-रैखिकता दिखाई गई है। यह सीमा के लिए एक वास्तविक-मूल्यवान संख्या स्क्वैश करता है [-1, 1]। सिग्मॉइड न्यूरॉन की तरह, इसकी सक्रियता संतृप्त होती है, लेकिन सिग्मॉइड न्यूरॉन के विपरीत इसका उत्पादन शून्य-केंद्रित है। इसलिए, व्यावहारिक रूप से तानह गैर-रैखिकता को हमेशा सिग्मोइड नॉनलाइनियरिटी के लिए पसंद किया जाता है। यह भी ध्यान दें कि तनह न्यूरॉन केवल एक छोटा सिग्मॉइड न्यूरॉन है, विशेष रूप से निम्नलिखित में: $\tanh(x) = 2 \sigma(2x) -1$ ।

वाम: रेक्टीफाइड लीनियर यूनिट (ReLU) एक्टिवेशन फंक्शन, जो शून्य है जब x <0 और फिर स्लोप 1 के साथ रैखिक जब x> 0. राइट: Krizhevsky एट अल से एक प्लॉट। (पीडीएफ़) काग़ज़, तनह इकाई की तुलना में ReLU इकाई के साथ अभिसरण में ६x सुधार का संकेत देता है।
Relu। रेक्टीफाइड लीनियर यूनिट पिछले कुछ वर्षों में बहुत लोकप्रिय हो गई है। यह फ़ंक्शन की गणना करता है $f(x) = \max(0, x)$ । दूसरे शब्दों में, सक्रियण केवल शून्य पर सीमाबद्ध है (बाईं ओर ऊपर की छवि देखें)। ReLUs का उपयोग करने के लिए कई पेशेवरों और विपक्ष हैं:

(+) यह बहुत तेजी से पाया गया था (उदाहरण के लिए Krizhevsky एट अल में 6 का एक कारक । ) सिग्मॉइड / तान कार्यों की तुलना में स्टोकेस्टिक ढाल वंश के अभिसरण। यह तर्क दिया जाता है कि यह अपने रैखिक, गैर-संतृप्त रूप के कारण है।

(+) टैन / सिग्मॉइड न्यूरॉन्स की तुलना में जो महंगे ऑपरेशन (एक्सपोनेंशियल इत्यादि) शामिल हैं, ReLU को शून्य पर सक्रियता के मैट्रिक्स को थ्रेसहोल्ड करके लागू किया जा सकता है।

(-) दुर्भाग्य से, प्रशिक्षण के दौरान ReLU इकाइयाँ नाजुक हो सकती हैं और "मर" सकती हैं। उदाहरण के लिए, एक ReLU न्यूरॉन के माध्यम से बहने वाली एक बड़ी ढाल इस तरह से अद्यतन करने के लिए भार का कारण बन सकती है कि न्यूरॉन फिर से किसी भी डाटापॉइंट पर सक्रिय नहीं होगा। यदि ऐसा होता है, तो इकाई के माध्यम से बहने वाली ढाल हमेशा उस बिंदु से शून्य होगी। यही है, ReLU इकाइयाँ प्रशिक्षण के दौरान अपरिवर्तनीय रूप से मर सकती हैं क्योंकि वे डेटा को कई गुना बढ़ा सकती हैं। उदाहरण के लिए, आप सीख सकते हैं कि यदि सीखने की दर बहुत अधिक है, तो आपके नेटवर्क का 40% हिस्सा "मृत" (यानी पूरे प्रशिक्षण डाटासेट में कभी सक्रिय नहीं होने वाला) हो सकता है। सीखने की दर की उचित सेटिंग के साथ यह अक्सर कम होता है।

लीक रे एल यू। लीक ReLUs "मरते हुए ReLU" समस्या को ठीक करने का एक प्रयास है। फ़ंक्शन के बजाय शून्य होने पर x <0, एक टपका हुआ ReLU इसके बजाय एक छोटी नकारात्मक ढलान (0.01, या तो) होगा। यही है, फ़ंक्शन गणना करता है $f(x) = \mathbb{1}(x < 0) (\alpha x) + \mathbb{1}(x>=0) (x)$ कहाँ पे $\alpha$ एक छोटा स्थिर है। कुछ लोग सक्रियता फ़ंक्शन के इस रूप के साथ सफलता की रिपोर्ट करते हैं, लेकिन परिणाम हमेशा सुसंगत नहीं होते हैं। ऋणात्मक क्षेत्र में ढलान को भी प्रत्येक न्यूरॉन के एक पैरामीटर में बनाया जा सकता है, जैसा कि PRELU न्यूरॉन्स में देखा जाता है, डिलिंग डीप इन रेक्टीफायर्स में पेश किया गया है , कैमिंग हे एट अल।, 2015 तक। हालांकि, कार्यों में लाभ की स्थिरता वर्तमान में है। स्पष्ट नहीं है।

मैक्सआउट । अन्य प्रकार की इकाइयाँ प्रस्तावित की गई हैं जिनके पास क्रियात्मक रूप नहीं है $f(w^Tx + b)$ जहां वज़न और डेटा के बीच डॉट उत्पाद पर एक गैर-रैखिकता लागू होती है। एक अपेक्षाकृत लोकप्रिय विकल्प मैक्सआउट न्यूरॉन है (गुडफेलो एट अल द्वारा हाल ही में पेश किया गया है ) जो कि ReLU और इसके लीकेज संस्करण को सामान्य करता है। मैक्सआउट न्यूरॉन फ़ंक्शन की गणना करता है $\max(w_1^Tx+b_1, w_2^Tx + b_2)$ । ध्यान दें कि ReLU और Leaky दोनों ReLU इस फॉर्म का एक विशेष मामला है (उदाहरण के लिए, ReLU हमारे पास है) $w_1, b_1 = 0$ )। मैक्सआउट न्यूरॉन इसलिए एक ReLU इकाई (ऑपरेशन के रैखिक शासन, कोई संतृप्ति) के सभी लाभों का आनंद लेता है और इसकी कमियां (मरते हुए ReLU) नहीं है। हालांकि, ReLU न्यूरॉन्स के विपरीत यह हर एक न्यूरॉन के लिए मापदंडों की संख्या को दोगुना करता है, जिससे मापदंडों की एक उच्च कुल संख्या होती है।

यह सबसे सामान्य प्रकार के न्यूरॉन्स और उनके सक्रियण कार्यों की हमारी चर्चा को समाप्त करता है। अंतिम टिप्पणी के रूप में, एक ही नेटवर्क में विभिन्न प्रकार के न्यूरॉन्स का मिश्रण और मिलान करना बहुत दुर्लभ है, भले ही ऐसा करने में कोई मौलिक समस्या न हो।

TLDR : " मुझे किस न्यूरॉन प्रकार का उपयोग करना चाहिए? " यदि यह आपको चिंतित करता है, तो लीके रेएलयू या मैक्सआउट को आज़माएं। कभी भी सिग्मॉइड का उपयोग न करें। तन की कोशिश करें, लेकिन यह अपेक्षा करें कि यह ReLU / Maxout से भी बदतर हो।

लाइसेंस:

MIT लाइसेंस (MIT)

कॉपीराइट (c) 2015 कांपी करपाथी

इस सॉफ़्टवेयर और संबंधित दस्तावेज़ फ़ाइलों ("सॉफ़्टवेयर") की प्रतिलिपि प्राप्त करने वाले किसी भी व्यक्ति को बिना किसी प्रतिबंध के सॉफ़्टवेयर का उपयोग करने, प्रतिलिपि बनाने, संशोधित करने, मर्ज करने के अधिकार सहित, अनुमति देने के लिए अनुमति दी गई है , सॉफ्टवेयर की प्रतियों को प्रकाशित, वितरित, उपविषय, और / या बेचने के लिए, और उन व्यक्तियों को अनुमति देने के लिए जिनके लिए सॉफ्टवेयर ऐसा करने के लिए सुसज्जित है, निम्नलिखित शर्तों के अधीन:

उपरोक्त कॉपीराइट नोटिस और यह अनुमति नोटिस सॉफ्टवेयर की सभी प्रतियों या पर्याप्त भागों में शामिल किया जाएगा।

सॉफ़्टवेयर किसी भी प्रकार, किसी भी तरह के वारंटी के बिना "आईएस के रूप में" प्रदान किया जाता है, जो कि मर्चेंटैबिलिटी के वारंटी के लिए सीमित नहीं है, एक पार्टिकुलर पर्पोस और नॉनफिंगरमेंट के लिए उपयुक्त है। किसी भी सूची में दिए गए ऑटो या कॉपीराइटर किसी भी क्लैम, डैमेज या अन्य देयता के लिए उत्तरदायी नहीं होंगे, अनुबंध के एक अधिनियम, टिकट या अन्य छूट, आवर्ती शुल्क, जो कि सॉफ्टवेयर के उपयोग के संबंध में हैं या उपयोग किए जा रहे हैं। सॉफ्टवेयर।*

अन्य लिंक:

तन सक्रियण कार्य बनाम सिग्माइड सक्रियण कार्य

— फ्रेंक डर्नोनकोर्ट
स्रोत

मुझे नहीं लगता कि पेशेवरों और विपक्षों के साथ एक सूची मौजूद है। सक्रियण कार्यों अत्यधिक आवेदन निर्भर कर रहे हैं, और वे अपने तंत्रिका नेटवर्क की वास्तुकला (पर भी निर्भर करता है यहाँ उदाहरण आप दो softmax कार्यों के आवेदन को देखने के लिए, कि अवग्रह एक के समान हैं)।

आप कार्यों के सामान्य व्यवहार के बारे में कुछ अध्ययन पा सकते हैं, लेकिन मुझे लगता है कि आपके पास कभी भी परिभाषित और निश्चित सूची नहीं होगी (आप जो पूछते हैं ...)।

मैं अभी भी एक छात्र हूं, इसलिए मैं इंगित करता हूं कि मैं अब तक क्या जानता हूं:

यहां आपको बैकप्रोपेगेशन के साथ तन और सिग्मोइड के व्यवहार के बारे में कुछ विचार मिलते हैं। तनह अधिक सामान्य हैं, लेकिन सिग्मोइड ... (हमेशा "लेकिन" होगा)
में दीप विरल रेक्टिफायर तंत्रिका नेटवर्क Glorot जेवियर एट अल की, वे कहते हैं कि रेक्टिफायर इकाइयों अधिक जैविक रूप से प्रशंसनीय हैं और वे दूसरों की तुलना में बेहतर प्रदर्शन करते हैं (अवग्रह / tanh)

— marcodena
स्रोत

यह सही जवाब है। एक सूची का उत्पादन कर सकते हैं, लेकिन पेशेवरों और विपक्ष पूरी तरह से डेटा पर निर्भर हैं। वास्तव में, सक्रियण कार्य सीखना सिद्धांत में अधिक उचित है। कारण यह है कि इस पर बहुत अधिक ध्यान केंद्रित नहीं है कि सिग्मॉइड "बस काम करता है"। अंत में, आपका एकमात्र लाभ अभिसरण गति है जो अक्सर महत्वहीन होता है

— रनड्रोसन

डेनिएल के महान जवाब पर पूर्णता के लिए, अन्य प्रतिमान हैं, जहां एक बेतरतीब ढंग से वजन और / या सक्रियता के प्रकार पर पहिया घूमता है: तरल राज्य मशीन , चरम सीखने की मशीन और गूंज नेटवर्क ।

इन आर्किटेक्चर के बारे में सोचने का एक तरीका: जलाशय एक प्रकार का कर्नेल है जैसा कि SVM में या एक साधारण FFNN में एक बड़ी छिपी हुई परत में होता है, जहां डेटा कुछ हाइपरस्पेस का अनुमान लगाया जाता है। कोई वास्तविक अध्ययन नहीं है, जब तक कोई संतोषजनक समाधान नहीं हो जाता तब तक जलाशय फिर से उत्पन्न होता है।

इसका अच्छा जवाब भी देखें ।

— शूरिकेन x नीला
स्रोत

हाल के सक्रियण कार्यों की समीक्षा करने वाला एक लेख इसमें पाया जा सकता है

" एक्टिवेशन फ़ंक्शंस: ट्रेंड्स ऑफ़ प्रैक्टिस एंड रिसर्च इन डीप लर्निंग के लिए " चोगोजी एनीना मयंकपा, विनीफ्रेड इज़ोमा, एंथोनी गचागन और स्टीफन मार्शल द्वारा

दीप तंत्रिका नेटवर्क को विभिन्न उभरते हुए डोमेन में वास्तविक विश्व जटिल समस्याओं को हल करने के लिए सफलतापूर्वक उपयोग किया गया है, जो कि अधिक गहन शिक्षण (डीएल) आर्किटेक्चर के साथ विकसित हो सकते हैं, जो आज तक विकसित किए जा रहे हैं। इन अत्याधुनिक प्रदर्शनों को प्राप्त करने के लिए, डीएल आर्किटेक्चर छिपी हुई परतों और किसी भी डीएल आर्किटेक्चर के आउटपुट परतों के बीच विविध गणना करने के लिए सक्रियण कार्यों (एएफ) का उपयोग करते हैं। यह पत्र गहरे शिक्षण अनुप्रयोगों में उपयोग किए गए मौजूदा वायुसेना पर एक सर्वेक्षण प्रस्तुत करता है और गहन शिक्षण अनुप्रयोगों के लिए सक्रियण कार्यों के उपयोग में हाल के रुझानों पर प्रकाश डालता है। इस पत्र की नवीनता यह है कि यह डीएल में इस्तेमाल किए गए अधिकांश AFs को संकलित करता है और इन अनुप्रयोगों के वर्तमान रुझानों और अत्याधुनिक अनुसंधान परिणामों के खिलाफ व्यावहारिक गहन सीखने की तैनाती में इन कार्यों के उपयोग की रूपरेखा तैयार करता है। यह संकलन तैनाती के लिए तैयार किसी भी आवेदन के लिए सबसे उपयुक्त और उपयुक्त सक्रियण समारोह की पसंद में प्रभावी निर्णय लेने में सहायता करेगा। यह पेपर सामयिक है क्योंकि वायुसेना पर अधिकांश शोध पत्र इसी तरह के कामों और परिणामों पर प्रकाश डालते हैं जबकि यह पेपर पहला होगा, जो साहित्य से अनुसंधान परिणामों के खिलाफ अभ्यास में वायुसेना के अनुप्रयोगों के रुझानों को संकलित करने के लिए, आज तक के गहन शोध शोधों में पाया गया है।

— सिसोरैक्स
स्रोत