भावना विश्लेषण के लिए पैराग्राफ वैक्टर का उपयोग करने के लिए अत्याधुनिक प्रदर्शन की सूचना दी गई है?


20

मैं Le और मिकोलोव द्वारा ICML 2014 के पेपर " डिस्ट्रक्टेड रिप्रेजेंटेशन ऑफ सेंटेंस एंड डॉक्यूमेंट्स " में परिणामों से प्रभावित हुआ था । जिस तकनीक का वे वर्णन करते हैं, उसे "पैराग्राफ वैक्टर" कहा जाता है, शब्द 2vec मॉडल के विस्तार के आधार पर, मनमाने ढंग से लंबे पैराग्राफ / दस्तावेजों के अप्रकाशित अभ्यावेदन सीखता है। कागज इस तकनीक का उपयोग करके भावना विश्लेषण पर अत्याधुनिक प्रदर्शन की रिपोर्ट करता है।

मैं पारंपरिक बैग-ऑफ-वर्ड्स प्रतिनिधित्व के विकल्प के रूप में, अन्य पाठ वर्गीकरण समस्याओं पर इस तकनीक का मूल्यांकन करने की उम्मीद कर रहा था। हालाँकि, मैं दूसरे पोस्ट के लेखक द्वारा Google2 शब्द में एक सूत्र में पिरोया गया जिसने मुझे विराम दिया:

मैंने गर्मियों के दौरान क्वोक के परिणामों को पुन: पेश करने की कोशिश की; मैं IMDB डेटासेट पर त्रुटि दर लगभग 9.4% - 10% (पाठ सामान्यीकरण कितना अच्छा था पर निर्भर करता है) प्राप्त कर सकता था। हालाँकि, मुझे कहीं भी पास नहीं मिला कि क्वोक ने पेपर में क्या रिपोर्ट की (7.4% त्रुटि, यह बहुत बड़ा अंतर है) ... बेशक हमने क्वोक से कोड के बारे में भी पूछा; उन्होंने इसे प्रकाशित करने का वादा किया था लेकिन अभी तक ऐसा कुछ नहीं हुआ है। ... मैं सोचने लगा हूं कि क्वोक के परिणाम वास्तव में प्रजनन योग्य नहीं हैं।

क्या किसी को भी इन परिणामों को पुन: प्रस्तुत करने में सफलता मिली है?


क्या यह स्थिति बदल गई है, फिर भी? मुझे पता है कि Gensim ने doc2vec (पैराग्राफ / डॉक्यूमेंट वैक्टर) का एक संस्करण लागू किया है, देखें: radimrehurek.com/gensim/models/doc2vec.html लेकिन यहां दिए गए पेपर में परिणामों को पुन: पेश करने का कोई प्रयास नहीं किया गया।
डॉक्टरम्बिएंट

1
हां, गेंसिम का उपयोग करके पेपर परिणामों को पुन: पेश करने का प्रयास किया गया था : doc2vec IPython नोटबुक देखें
रेडिम

जवाबों:


13

Http://arxiv.org/abs/1412.5335 पर फुटनोट (लेखकों में से एक टॉमस मिकोलोव है) कहते हैं

हमारे प्रयोगों में, (Le & Mikolov, 2014) से परिणामों का मिलान करने के लिए, हमने नकारात्मक नमूने के बजाय पदानुक्रमित सॉफ्टमैक्स का उपयोग करने के लिए Quoc Le द्वारा सुझाव का पालन किया। हालांकि, यह 92.6% सटीकता परिणाम केवल तभी उत्पन्न करता है जब प्रशिक्षण और परीक्षण डेटा को फेरबदल नहीं किया जाता है। इस प्रकार, हम इस परिणाम को अमान्य मानते हैं।


1
मुझे समझ नहीं आ रहा है कि "फेरबदल क्यों नहीं किया गया" ==> अमान्य है। क्या ट्रेन / परीक्षण सेट के बीच कोई अच्छी तरह से परिभाषित विभाजन नहीं है? ताकि ट्रेन / परीक्षण क्या हो, यह इस बात पर निर्भर करता है कि आप मूल (मूल) डेटा को कैसे फेरबदल करते हैं? परीक्षण सेट का क्रम मायने नहीं रखता (कोई गतिशील मूल्यांकन नहीं है, ठीक है?)। और प्रशिक्षण सेट का क्रम या तो ज्यादा मायने नहीं रखता है, ...
capybaralet

@ user2429920 यदि उन्हें मतभेद हो रहे हैं, तो स्पष्ट रूप से आदेश किसी भी तरह से मायने रखता है।
JAB
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.