शब्द 2vec में क्रॉस एन्ट्रापी लॉस की व्युत्पत्ति

मैं cs224d ऑनलाइन स्टैनफोर्ड क्लास कोर्स सामग्री के पहले समस्या सेट के माध्यम से अपने तरीके से काम करने की कोशिश कर रहा हूं और मुझे समस्या 3 ए के साथ कुछ समस्याएं आ रही हैं: सॉफ्टमैक्स प्रेडिक्शन फ़ंक्शन और क्रॉस एन्ट्रॉपी लॉस फंक्शन के साथ स्किप ग्राम 2 वर्ड मॉडल का उपयोग करते समय, हम भविष्यवाणी शब्द वैक्टर के संबंध में ग्रेडिएंट की गणना करना चाहते हैं। इसलिए सॉफ्टमैक्स फंक्शन दिया गया:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

और क्रॉस एन्ट्रापी फ़ंक्शन:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

हमें गणना करने की आवश्यकता है $\frac{\partial{CE}}{\partial{\hat{r}}}$

मेरे कदम इस प्रकार हैं:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

अब दिया $w_k$ एक गर्म वेक्टर है और मैं सही वर्ग है:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

क्या यह सही है या इसे और सरल बनाया जा सकता है? मैं यह सुनिश्चित करने का प्रयास करना चाहता हूं कि मैं सही रास्ते पर हूं क्योंकि समस्या सेट समाधान ऑनलाइन पोस्ट नहीं किए गए हैं। साथ ही लिखित असाइनमेंट सही होना प्रोग्रामिंग असाइनमेंट को ठीक से करने में सक्षम होना महत्वपूर्ण है।

machine-learning self-study word2vec

— slushi
स्रोत

कृपया स्व-अध्ययन टैग को प्रश्न में जोड़ें

— Dawny33

पहली लॉग पहचान में 2 माइनस साइन एक प्लस होना चाहिए। \: आप के लिए इसे ठीक करने की कोशिश की लेकिन संपादन में कम से कम 6 वर्ण होने की जरूरत है

— FatalMojo

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \frac{1}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r}) w_{j}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$ को रूप में फिर से लिखा जा सकता है। ध्यान दें, रकम दोनों जम्मू द्वारा अनुक्रमित हैं, लेकिन यह वास्तव में 2 अलग-अलग चर होना चाहिए। यह अधिक उपयुक्त जो अनुवाद करने के लिए

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{j}^{| V |} (\frac{\exp (w_{j}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{j})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} (\frac{\exp (w_{x}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{x})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} Pr (w o r d_{x} ∣ \hat{r}, w) \cdot w_{x}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$

— FatalMojo
स्रोत

प्रासंगिक, वह व्याख्यान 2 में विवरण में उस व्युत्पत्ति पर चला जाता है 2 @ 38:00

— फ़ालतोमोज़ो

अलग-अलग चरों द्वारा रकम को क्यों अनुक्रमित किया जाना चाहिए?

— यमनको

सिर्फ भ्रम से बचने के लिए। गणितीय रूप से इसका मतलब समान है, लेकिन नई राशि जोड़ते समय इंडेक्स लेबल को बदलना अच्छा है।

— फैटलमोज़ो सेप