स्किपग्राम वर्ड 2vec के लिए ग्रेजुएट्स

मैं स्टैनफोर्ड NLP डीप लर्निंग क्लास की लिखित असाइनमेंट समस्याओं http://cs224d.stanford.edu/assignment1/assignment1_soln में समस्याओं से गुज़र रहा हूँ

मैं 3a के उत्तर को समझने की कोशिश कर रहा हूं जहां वे केंद्र शब्द के लिए वेक्टर के व्युत्पन्न की तलाश कर रहे हैं।

मान लें कि आपको लिए केंद्र शब्द c के अनुरूप एक सदिश शब्द दिया गया है , और शब्द भविष्यवाणी को soft2ax फ़ंक्शन के साथ बनाया गया है जो word2vec मॉडल में पाया जाता है। $v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

जहाँ w , w-वें शब्द और (w = 1,।, W) को दर्शाता है, शब्दावली में सभी शब्दों के लिए "आउटपुट" शब्द वैक्टर हैं। मान लें कि क्रॉस एन्ट्रापी लागत इस भविष्यवाणी पर लागू होती है और शब्द ओ अपेक्षित शब्द है। $u_w$

जहां सभी आउटपुट वैक्टर का मैट्रिक्स है, और let शब्दों के सॉफ्टमैक्स भविष्यवाणी के कॉलम वेक्टर हैं, और y एक-गर्म-गर्म होना चाहिए जो H एक कॉलम वेक्टर भी है। $U = [u_1,u_2, · · · ,u_W ]$ $\hat{y}$

जहाँ क्रॉस एन्ट्रॉपी $CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

तो केंद्र वेक्टर के लिए ढाल का उत्तर $\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

क्या कोई मुझे इसके लिए कदम उठा सकता है? मैं इस प्रश्न का उपयोग शब्द 2vec में क्रॉस एन्ट्रापी लॉस के व्युत्पन्न व्युत्पन्न के रूप में कर रहा हूं, लेकिन मैं विशेष रूप से जानना चाहता हूंप्रतिनिधित्व। $U^T(\hat{y} − y).$

— जेक फंड
स्रोत

सबसे पहले, आइए जानें कि हमें क्या मिला है और विभिन्न वैक्टर के आकार के बारे में हमारी धारणाएं हैं। चलो,

$|W|$ शब्द शब्द की संख्या हो
$y$ और आकृति के स्तंभ वैक्टर होx 1 $\hat{y}$ $|W|$
$u_i$ और आकार X 1 के कॉलम वैक्टर हो ( = एम्बेडिंग का आयाम) $v_j$ $D$ $D$
$y$ आकार का वन-हॉट एन्कोडेड कॉलम वेक्टर हैx 1 $|W|$
$\hat{y}$ आकार का सॉफ्टमैक्स प्रीडिक्शन कॉलम वेक्टर होx 1 $|W|$
$\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
क्रॉस एन्ट्रॉपी लॉस: $J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
$U = [u_1, u_2, ...,u_k, ...u_W]$ से बना एक मैट्रिक्स हो स्तंभ वैक्टर। $u_k$

अब, हम सरल , अब, हम जानते हैं कि एक-गर्म एन्कोडेड है, इसलिए इसके सभी तत्व शून्य को छोड़कर एक पर, कहते हैं, सूचकांक। जिसका अर्थ है, में केवल एक गैर-शून्य शब्द है जो कि से ऊपर है और में अन्य सभी शब्द शून्य हैं। तो लागत को इस प्रकार भी लिखा जा सकता है: नोट: 1 से ऊपर ।

J = - \sum_{i = 1}^{W} y_{i} l o g (\frac{e x p (u_{i}^{T} v_{c})}{\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c})})

$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$

J = - \sum_{i = 1}^{W} y_{i} [u_{i}^{T} v_{c} - l o g (\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c}))]

$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$

y

$y$

k^{t h}

$k^{th}$

y_{k}

$y_k$

J = - y_{k} [u_{k}^{T} v_{c} - l o g (\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c}))]

$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$

y_{k}

$y_k$

के लिए सुलझाने : $\frac{\partial J}{\partial v_c}$

\frac{\partial J}{\partial v_{c}} = - [u_{k} - \frac{\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c}) u_{w}}{\sum_{x = 1}^{W} e x p (u_{x}^{T} v_{c})}]

$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$

जिसे पुन: व्यवस्थित किया जा सकता है: परिभाषा (6) का उपयोग करके, हम उपरोक्त समीकरण को फिर से लिख सकते हैं:

\frac{\partial J}{\partial v_{c}} = \sum_{w = 1}^{W} (\frac{e x p (u_{w}^{T} v_{c})}{\sum_{x = 1}^{W} e x p (u_{x}^{T} v_{c})} u_{w}) - u_{k}

$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$

\frac{\partial J}{\partial v_{c}} = \sum_{w = 1}^{W} ({\hat{y}}_{w} u_{w}) - u_{k}

$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$

अब देखते हैं कि यह मैट्रिक्स नोटेशन में कैसे लिखा जा सकता है।

$u_k$ को मैट्रिक्स वेक्टर गुणा के रूप में लिखा जा सकता है: $U.y$
और द्वारा स्केल में वैक्टर का रैखिक परिवर्तन है । इसे फिर से रूप में लिखा जा सकता है $\sum_{w=1}^W (\hat{y}_w u_w)$ $u_w$ $U$ $\hat{y}_w$ $U.\hat{y}$

तो पूरी बात को संक्षिप्त रूप में लिखा जा सकता है:

U [\hat{y} - y]

$U[\hat{y} -y]$

अंत में, ध्यान दें कि हमने s को कॉलम वैक्टर माना है। यदि हमने पंक्ति वैक्टर के साथ शुरुआत की थी, तो हमें मिलेगा , जैसा कि आप देख रहे थे। $u_i$ $U^T[\hat{y} -y]$

— सचिन त्यागी
स्रोत

बस यह कहना चाहता था कि यह व्युत्पत्ति के लिए एक अद्भुत व्याख्या है! यह वास्तव में मेरे जैसे गणित-चूसने वालों के लिए मदद करता है। धन्यवाद!

— एरिक किम

अद्भुत स्पष्टीकरण के लिए +1!

— ब्रैगबॉय

मुझे समझ में नहीं आता है कि यह व्युत्पत्ति क्यों:

\frac{\partial}{\partial B} A^{T} B = A

$\frac{\partial}{\partial B} A^TB = A$

— पार्थ तामने

@ParthTamane कृपया इस पर एक नज़र डालें - math.stackexchange.com/questions/3270789/…

— सचिन त्यागी