जब डाउनस्ट्रीम एप्लिकेशन केवल शब्द वैक्टर की दिशा के बारे में परवाह करते हैं (उदाहरण के लिए वे केवल दो शब्दों की कोस्मिक समानता पर ध्यान देते हैं), तो सामान्य करें, और लंबाई के बारे में भूल जाएं।
हालांकि, यदि डाउनस्ट्रीम एप्लिकेशन अधिक समझदार पहलुओं पर विचार करने में सक्षम हैं (या शब्द की आवश्यकता है, जैसे शब्द महत्व , या शब्द उपयोग में निरंतरता (नीचे देखें), तो सामान्यीकरण इतना अच्छा विचार नहीं हो सकता है।
से । लेवी एट अल 2015 (और, वास्तव में, शब्द embeddings पर साहित्य का सबसे):
वैक्टर समानता की गणना के लिए उपयोग किए जाने से पहले वैक्टर की लंबाई सामान्य कर दी जाती है, जिससे कॉशन समानता और डॉट-प्रोडक्ट बराबर हो जाते हैं।
इसके अलावा से विल्सन और Schakel 2015 :
शब्द एम्बेडिंग के अधिकांश अनुप्रयोग शब्द वैक्टर स्वयं का पता नहीं लगाते हैं, लेकिन उनके बीच संबंधों को हल करने के लिए, उदाहरण के लिए, समानता और शब्द संबंध कार्य। इन कार्यों के लिए, यह पाया गया कि सामान्यीकृत शब्द वैक्टर का उपयोग प्रदर्शन में सुधार करता है। शब्द वेक्टर लंबाई इसलिए आमतौर पर नजरअंदाज कर दिया है।
सामान्यीकरण लंबाई की धारणा को खोने के बराबर है। यही है, एक बार जब आप वैक्टर शब्द को सामान्य कर लेते हैं, तो आप प्रशिक्षण के चरण के बाद की लंबाई (आदर्श, मॉड्यूल) भूल जाते हैं।
हालांकि, कभी-कभी शब्द वैक्टर की मूल लंबाई को ध्यान में रखना लायक है।
शेकेल और विल्सन, 2015 ने शब्द वैक्टर की लंबाई के बारे में कुछ रोचक तथ्य देखे:
एक शब्द जो एक समान संदर्भ में लगातार उपयोग किया जाता है, एक समान आवृत्ति के शब्द की तुलना में लंबे वेक्टर द्वारा दर्शाया जाएगा जो विभिन्न संदर्भों में उपयोग किया जाता है।
न केवल दिशा, बल्कि शब्द वैक्टर की लंबाई भी महत्वपूर्ण जानकारी रखती है।
शब्द वेक्टर की लंबाई, शब्द आवृत्ति के साथ संयोजन में, शब्द महत्व का एक उपयोगी उपाय है।