1- सुविधाओं की संख्या: तंत्रिका नेटवर्क मॉडल के संदर्भ में यह प्रक्षेपण (छिपे) परत में न्यूरॉन्स की संख्या का प्रतिनिधित्व करता है। जैसा कि प्रोजेक्शन लेयर को डिस्ट्रिब्यूशनल परिकल्पना पर बनाया गया है, प्रत्येक शब्द के लिए संख्यात्मक वेक्टर यह दर्शाता है कि यह उसके संदर्भ शब्दों के साथ संबंध है।
इन विशेषताओं को तंत्रिका नेटवर्क द्वारा सीखा जाता है क्योंकि यह एक अनुपयोगी विधि है। प्रत्येक वेक्टर में सिमेंटिक विशेषताओं के कई सेट हैं। उदाहरण के लिए, चलो शास्त्रीय उदाहरण लेते हैं, V(King) -V(man) + V(Women) ~ V(Queen)
और प्रत्येक शब्द 300-डी वेक्टर द्वारा दर्शाया जाता है। V(King)
एक निश्चित क्रम में वेक्टर में रॉयलिटी, राज्य, पुरुषत्व, मानव की शब्दार्थ विशेषताएं होंगी। V(man)
मर्दानगी होगी, मानव, एक निश्चित क्रम में काम करते हैं। इस प्रकार जब V(King)-V(Man)
किया जाता है, तो पुरुषत्व, मानवीय विशेषताओं को शून्य कर दिया जाएगा और जब V(Women)
स्त्रीत्व के साथ जोड़ा जाएगा, तो मानवीय विशेषताओं को जोड़ा जाएगा, जिसके परिणामस्वरूप एक वेक्टर बहुत समान होगाV(Queen)
। दिलचस्प बात यह है, इन विशेषताओं को एक निश्चित क्रम में वेक्टर में एन्कोड किया गया है ताकि संख्यात्मक गणनाएं जैसे कि जोड़, उप योग पूरी तरह से काम कर सकें। यह तंत्रिका नेटवर्क में अनिश्चित सीखने की विधि की प्रकृति के कारण है।
2- दो सन्निकटन एल्गोरिदम हैं। Hierarchical softmax
और negative sampling
। जब नमूना पैरामीटर दिया जाता है, तो यह नकारात्मक नमूना लेता है। पदानुक्रमित सॉफ्टमैक्स के मामले में, प्रत्येक शब्द वेक्टर के लिए इसके संदर्भ शब्दों को सकारात्मक आउटपुट दिया जाता है और शब्दावली में अन्य सभी शब्दों को नकारात्मक आउटपुट दिया जाता है। समय की जटिलता का मुद्दा नकारात्मक नमूने द्वारा हल किया जाता है। पूरी शब्दावली के बजाय नकारात्मक नमूने में, शब्दावली का केवल एक नमूना भाग नकारात्मक आउटपुट दिया जाता है और वैक्टर को प्रशिक्षित किया जाता है जो पूर्व विधि की तुलना में बहुत तेज है।