मैं एक ऐसी प्रणाली डिजाइन करना चाह रहा हूं, जिसमें पाठ का एक पैराग्राफ दिया गया है, जो इसे वर्गीकृत करने और संदर्भ की पहचान करने में सक्षम होगा:
- उपयोगकर्ता द्वारा उत्पन्न पाठ पैराग्राफ (जैसे टिप्पणी / प्रश्न / उत्तर) के साथ प्रशिक्षित किया जाता है
- प्रशिक्षण सेट में प्रत्येक आइटम के साथ टैग किया जाएगा। तो उदाहरण के लिए ("श्रेणी 1", "पाठ पैराग्राफ")
- सैकड़ों श्रेणियां होंगी
ऐसी प्रणाली बनाने के लिए सबसे अच्छा तरीका क्या होगा? मैं कुछ अलग विकल्पों को देख रहा हूं और निम्नलिखित संभावित समाधानों की एक सूची है। क्या Word2Vec / NN इस समय सबसे अच्छा समाधान है?
- Recursive Neural Tensor Network ने Word2Vec के औसत डेटा के साथ फीड किया
- RNTN और द पैराग्राफ वेक्टर ( https://cs.stanford.edu/~quocle/paragraph_vector.ndf )?
- TF-IDF का उपयोग डीप विश्वास नेटवर्क में किया जाता है
- TF-IDF और लॉजिस्टिक रिग्रेशन
- शब्दों का बैग और Naive Bayes का वर्गीकरण
क्या आप स्पष्ट कर सकते हैं कि किस प्रकार की श्रेणियां हैं? क्या इसे नई श्रेणियों और / या अनदेखी शब्दों को संभालने में सक्षम होने की आवश्यकता होगी? असीम शर्तों और अनदेखी श्रेणियों के बारे में आवश्यकताओं को सिस्टम के डिजाइन में मदद मिलेगी।
—
एनबार्टली
धन्यवाद @NBartley अनदेखी शब्द भी एक उच्च संभावना होगी। इनपुट पैरा उपयोगकर्ता जनित सामग्री होगी, इसलिए नए अनदेखे शब्दों की संभावना बहुत अधिक होगी। श्रेणियों को परिभाषित किया जाएगा, लेकिन हमें समय के साथ श्रेणी सूची का विस्तार करना होगा। साभार
—
शंकर
तुम भी sense2vec की जांच करनी चाहिए arxiv.org/abs/1511.06388 । संक्षेप में, यह शब्द एम्बेडिंग भाग-के-भाषण टैगिंग के साथ संयुक्त है। यह बताया गया है कि यह शब्द एम्बेडिंग समलैंगिकों को अधिक स्पष्ट करके सटीक बनाता है। यह देखना दिलचस्प होगा कि क्या यह वर्गीकरण कार्यों में प्रदर्शन को भी बेहतर बनाता है।
—
वैक्सैक्स