GELU सक्रियण क्या है?

18

मैं BERT पेपर से गुज़र रहा था जो GELU (गौसियन एरर लाइनर यूनिट) का उपयोग करता है जो GELU ( रूप में समीकरण बताता है जो बदले में

G E L U (x) = x P (X \leq x) = x Φ (x) .

$GELU(x) = xP(X ≤ x) = xΦ(x).$

0.5 x (1 + t a n h [\sqrt{2 / π} (x + 0.044715 x^{3})])

$0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)])$

क्या आप समीकरण को सरल बना सकते हैं और बता सकते हैं कि यह कैसे अनुमानित किया गया है।

activation-function bert mathematics

— thanatoz
स्रोत

19

GELU फ़ंक्शन

हम निम्न प्रकार से $\mathcal{N}(0, 1)$ , यानी के संचयी वितरण का विस्तार कर सकते हैं: $\Phi(x)$

GELU (x) := x P (X \leq x) = x Φ (x) = 0.5 x (1 + erf (\frac{x}{\sqrt{2}}))

$\text{GELU}(x):=x{\Bbb P}(X \le x)=x\Phi(x)=0.5x\left(1+\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right)$

ध्यान दें कि यह एक परिभाषा है , न कि एक समीकरण (या एक संबंध)। लेखकों ने इस प्रस्ताव के लिए कुछ औचित्य प्रदान किए हैं, उदाहरण के लिए एक स्टोकेस्टिक उपमा , हालांकि गणितीय रूप से, यह सिर्फ एक परिभाषा है।

यहाँ GELU की साजिश है:

तन्ह सन्निकटन

इस प्रकार के संख्यात्मक अंदाजों के लिए, मुख्य विचार एक समान फ़ंक्शन (मुख्य रूप से अनुभव पर आधारित) को खोजने, इसे मानकीकृत करने और फिर इसे मूल फ़ंक्शन से बिंदुओं के एक सेट पर फिट करने का है।

यह जानते हुए कि $\text{erf}(x)$ बहुत करीब है $\text{tanh}(x)$

और का पहला व्युत्पन्न $\text{erf}(\frac{x}{\sqrt{2}})$ के उस के साथ मेल खाता $\text{tanh}(\sqrt{\frac{2}{\pi}}x)$ में $x=0$ है, जो $\sqrt{\frac{2}{\pi}}$ , हम फिट करने के लिए आगे बढ़ना

tanh (\sqrt{\frac{2}{π}} (x + a x^{2} + b x^{3} + c x^{4} + d x^{5}))

$\text{tanh}\left(\sqrt{\frac{2}{\pi}}(x+ax^2+bx^3+cx^4+dx^5)\right)$ (या अधिक शब्द) अंक का एक सेट के साथ

(x_{i}, erf (\frac{x_{i}}{\sqrt{2}}))

$\left(x_i, \text{erf}\left(\frac{x_i}{\sqrt{2}}\right)\right)$ ।

मैंने इस फ़ंक्शन को $(-1.5, 1.5)$ ( इस साइट का उपयोग करके बीच 20 नमूनों में फिट किया है , और यहां गुणांक हैं:

की स्थापना करके $a=c=d=0$ , $b$ होने का अनुमान था $0.04495641$ । एक विस्तृत श्रृंखला से अधिक नमूनों के साथ (वह साइट केवल 20 की अनुमति है), गुणांक $b$ कागज के $0.044715$ करीब होगा । अंत में हम प्राप्त करते हैं

$\text{GELU}(x)=x\Phi(x)=0.5x\left(1+\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right)\simeq 0.5x\left(1+\text{tanh}\left(\sqrt{\frac{2}{\pi}}(x+0.044715x^3)\right)\right)$

साथ मतलब वर्ग त्रुटि $\sim 10^{-8}$ के लिए $x \in [-10, 10]$ ।

ध्यान दें कि यदि हमने पहले व्युत्पन्न शब्द, बीच संबंध का उपयोग नहीं किया है $\sqrt{\frac{2}{\pi}}$

0.5 x (1 + tanh (0.797885 x + 0.035677 x^{3}))

$0.5x\left(1+\text{tanh}\left(0.797885x+0.035677x^3\right)\right)$ रूप में मापदंडों में शामिल किया गया होगा जो कम सुंदर (कम विश्लेषणात्मक, अधिक संख्यात्मक) है!

समता का उपयोग

जैसा कि @BookYourLuck ने सुझाव दिया है , हम बहुपद के स्थान को सीमित करने के लिए कार्यों की समता का उपयोग कर सकते हैं जिसमें हम खोज करते हैं। अर्थात्, चूँकि $\text{erf}$ एक विषम कार्य है, अर्थात $f(-x)=-f(x)$ , और $\text{tanh}$ भी एक विषम कार्य है, अंदर बहुपद फलन $\text{pol}(x)$ भी विषम होना चाहिए (जिसमें केवल विषम शक्तियां होनी चाहिए) ) के लिए $\text{tanh}$ $x$

erf (- x) ≃ tanh (pol (- x)) = tanh (- pol (x)) = - tanh (pol (x)) ≃ - erf (x)

$\text{erf}(-x)\simeq\text{tanh}(\text{pol}(-x))=\text{tanh}(-\text{pol}(x))=-\text{tanh}(\text{pol}(x))\simeq-\text{erf}(x)$

पहले, हम $x^2$ और $x^4$ शक्तियों के लिए (लगभग) शून्य गुणांक के साथ समाप्त होने के लिए भाग्यशाली थे , हालांकि सामान्य तौर पर, यह निम्न गुणवत्ता के अनुमानों को जन्म दे सकता है, उदाहरण के लिए, $0.23x^2$ तरह एक शब्द है जिसे रद्द किया जा रहा है अतिरिक्त शर्तों (सम या विषम) के बजाय केवल $0x^2$ के लिए चुनने से ।

सिग्मोइड सन्निकटन

$\text{erf}(x)$ $2\left(\sigma(x)-\frac{1}{2}\right)$ $\sim 10^{-4}$ $x \in [-10, 10]$

डेटा बिंदुओं को उत्पन्न करने, फ़ंक्शंस की फिटिंग करने और माध्य चुकता त्रुटियों की गणना करने के लिए यहाँ एक पायथन कोड है:

import math
import numpy as np
import scipy.optimize as optimize


def tahn(xs, a):
    return [math.tanh(math.sqrt(2 / math.pi) * (x + a * x**3)) for x in xs]


def sigmoid(xs, a):
    return [2 * (1 / (1 + math.exp(-a * x)) - 0.5) for x in xs]


print_points = 0
np.random.seed(123)
# xs = [-2, -1, -.9, -.7, 0.6, -.5, -.4, -.3, -0.2, -.1, 0,
#       .1, 0.2, .3, .4, .5, 0.6, .7, .9, 2]
# xs = np.concatenate((np.arange(-1, 1, 0.2), np.arange(-4, 4, 0.8)))
# xs = np.concatenate((np.arange(-2, 2, 0.5), np.arange(-8, 8, 1.6)))
xs = np.arange(-10, 10, 0.001)
erfs = np.array([math.erf(x/math.sqrt(2)) for x in xs])
ys = np.array([0.5 * x * (1 + math.erf(x/math.sqrt(2))) for x in xs])

# Fit tanh and sigmoid curves to erf points
tanh_popt, _ = optimize.curve_fit(tahn, xs, erfs)
print('Tanh fit: a=%5.5f' % tuple(tanh_popt))

sig_popt, _ = optimize.curve_fit(sigmoid, xs, erfs)
print('Sigmoid fit: a=%5.5f' % tuple(sig_popt))

# curves used in https://mycurvefit.com:
# 1. sinh(sqrt(2/3.141593)*(x+a*x^2+b*x^3+c*x^4+d*x^5))/cosh(sqrt(2/3.141593)*(x+a*x^2+b*x^3+c*x^4+d*x^5))
# 2. sinh(sqrt(2/3.141593)*(x+b*x^3))/cosh(sqrt(2/3.141593)*(x+b*x^3))
y_paper_tanh = np.array([0.5 * x * (1 + math.tanh(math.sqrt(2/math.pi)*(x + 0.044715 * x**3))) for x in xs])
tanh_error_paper = (np.square(ys - y_paper_tanh)).mean()
y_alt_tanh = np.array([0.5 * x * (1 + math.tanh(math.sqrt(2/math.pi)*(x + tanh_popt[0] * x**3))) for x in xs])
tanh_error_alt = (np.square(ys - y_alt_tanh)).mean()

# curve used in https://mycurvefit.com:
# 1. 2*(1/(1+2.718281828459^(-(a*x))) - 0.5)
y_paper_sigmoid = np.array([x * (1 / (1 + math.exp(-1.702 * x))) for x in xs])
sigmoid_error_paper = (np.square(ys - y_paper_sigmoid)).mean()
y_alt_sigmoid = np.array([x * (1 / (1 + math.exp(-sig_popt[0] * x))) for x in xs])
sigmoid_error_alt = (np.square(ys - y_alt_sigmoid)).mean()

print('Paper tanh error:', tanh_error_paper)
print('Alternative tanh error:', tanh_error_alt)
print('Paper sigmoid error:', sigmoid_error_paper)
print('Alternative sigmoid error:', sigmoid_error_alt)

if print_points == 1:
    print(len(xs))
    for x, erf in zip(xs, erfs):
        print(x, erf)

आउटपुट:

Tanh fit: a=0.04485
Sigmoid fit: a=1.70099
Paper tanh error: 2.4329173471294176e-08
Alternative tanh error: 2.698034519269613e-08
Paper sigmoid error: 5.6479106346814546e-05
Alternative sigmoid error: 5.704246564663601e-05

— Esmailian
स्रोत

2

सन्निकटन की आवश्यकता क्यों है? क्या वे सिर्फ erf फ़ंक्शन का उपयोग नहीं कर सकते थे?

— सेबीसीबी

8

Φ (x) = \frac{1}{2} e r f c (- \frac{x}{\sqrt{2}}) = \frac{1}{2} (1 + e r f (\frac{x}{\sqrt{2}}))

$\Phi(x) = \frac12 \mathrm{erfc}\left(-\frac{x}{\sqrt{2}}\right) = \frac12 \left(1 + \mathrm{erf}\left(\frac{x}{\sqrt2}\right)\right)$

e r f

$\mathrm{erf}$

e r f (\frac{x}{\sqrt{2}}) \approx \tanh (\sqrt{\frac{2}{π}} (x + a x^{3}))

$\mathrm{erf}\left(\frac x {\sqrt2}\right) \approx \tanh\left(\sqrt{\frac2\pi} \left(x + a x^3\right)\right)$

a \approx 0.044715

$a \approx 0.044715$

$x$ $[-1, 1]$ $x$

\tanh (एक्स) = एक्स - \frac{{एक्स}^{3}}{3} + ओ ({एक्स}^{3})

$\tanh(x) = x - \frac{x^3}{3} + o(x^3)$

इ आर च (एक्स) = \frac{2}{\sqrt{π}} (एक्स - \frac{{एक्स}^{3}}{3}) + ओ ({एक्स}^{3}) ।

$\mathrm{erf}(x) = \frac{2}{\sqrt{\pi}} \left(x - \frac{x^3}{3}\right) + o(x^3).$

\tanh (\sqrt{\frac{2}{π}} (एक्स + ए {एक्स}^{3})) = \sqrt{\frac{2}{π}} (एक्स + (ए - \frac{2}{3 π}) {एक्स}^{3}) + ओ ({एक्स}^{3})

$\tanh\left(\sqrt{\frac2\pi} \left(x + a x^3\right)\right) = \sqrt\frac{2}{\pi} \left(x + \left(a-\frac{2}{3\pi}\right)x^3\right) + o(x^3)$

इ आर च (\frac{एक्स}{\sqrt{2}}) = \sqrt{\frac{2}{π}} (एक्स - \frac{{एक्स}^{3}}{6}) + ओ ({एक्स}^{3}) ।

$\mathrm{erf}\left(\frac x {\sqrt2}\right) = \sqrt\frac2\pi \left(x - \frac{x^3}{6}\right) + o(x^3).$

x^{3}

$x^3$

a \approx 0.04553992412

$a \approx 0.04553992412$

0.044715

$0.044715$

— BookYourLuck
स्रोत