मैं word2vec gensim मॉडल पर काम कर रहा था और इसे वास्तव में दिलचस्प पाया। मैं यह पता लगाने में इंटरस्टेड हूं कि मॉडल के साथ जाँच करने पर एक अज्ञात / अनदेखी शब्द कैसे प्रशिक्षित मॉडल से समान शब्द प्राप्त करने में सक्षम होगा।
क्या यह संभव है? क्या इसके लिए word2vec को ट्वीक किया जा सकता है? या प्रशिक्षण कॉर्पस में उन सभी शब्दों को रखने की जरूरत है, जिनमें से मैं समानता खोजना चाहता हूं।
जवाबों:
हर एल्गोरिथ्म जो पाठ डेटा से संबंधित है, में एक शब्दावली है। शब्द 2vec के मामले में, शब्दावली इनपुट कॉर्पस में सभी शब्दों से मिलकर बनती है, या कम-से-कम न्यूनतम-आवृत्ति सीमा से ऊपर के लोग।
एल्गोरिदम उन शब्दों को अनदेखा करते हैं जो उनकी शब्दावली के बाहर हैं। हालाँकि, आपकी समस्या को वापस करने के ऐसे तरीके हैं, जिनमें अनिवार्य रूप से कोई आउट-शब्द शब्दावली नहीं है।
याद रखें कि शब्द word2vec में केवल "टोकन" हैं। वे शून्य हो सकते हैं या वे पत्र हो सकते हैं। अपनी शब्दावली को परिभाषित करने का एक तरीका यह है कि कम से कम एक्स बार होने वाला प्रत्येक शब्द आपकी शब्दावली में हो। तब आपकी शब्दावली में सबसे आम "शब्दांश" (अक्षरों के नाम) जोड़े जाते हैं। फिर आप अपनी शब्दावली में अलग-अलग अक्षर जोड़ते हैं।
इस तरह आप किसी भी शब्द को परिभाषित कर सकते हैं
word2vec शब्दों को परमाणुओं की तरह मानता है। अज्ञात शब्दों के लिए सार्थक वैक्टर प्राप्त करने के लिए, आपको या तो
प्रशिक्षण कॉर्पस में उन सभी शब्दों का होना आवश्यक है, जिनकी आप समानता खोजना चाहते हैं।