natural-language पर टैग किए गए जवाब

निश्चित नहीं है कि यह सही स्टैक साइट है, लेकिन यहाँ जाता है। कैसे काम करता है। वाह स्पासीजी बढ़िया है! इसका tfidf मॉडल आसान हो सकता है, लेकिन कोड की केवल एक पंक्ति के साथ w2v ?! SpaCy और andrazhribernik के उनके 10 लाइन ट्यूटोरियल में हमें .similarity विधि …

13 natural-language  word2vec  tf-idf  nltk 

मुझे आश्चर्य है कि पदानुक्रमित सॉफ्टमैक्स, असंगत शब्दों के लिए बेहतर क्यों है, जबकि नकारात्मक नमूने लगातार शब्दों के लिए, वर्डवेव के सीबीओओ और स्किप-ग्राम मॉडल में बेहतर है। मैंने https://code.google.com/p/word2vec/ पर दावा पढ़ा है ।

12 natural-language  word2vec  word-embeddings  softmax 

यह कहें कि मैं एक RNN / LSTM का उपयोग भावना विश्लेषण करने के लिए करता हूं, जो कि कई-से-एक दृष्टिकोण है ( इस ब्लॉग को देखें )। नेटवर्क को समय (BPTT) के माध्यम से एक काट-छाँट backpropagation के माध्यम से प्रशिक्षित किया जाता है, जहां नेटवर्क को हमेशा की …

12 neural-networks  deep-learning  natural-language  backpropagation 

दो लोकप्रिय भाषा पहचान पुस्तकालयों में, सी ++ के लिए कॉम्पैक्ट भाषा डिटेक्टर 2 और जावा के लिए भाषा डिटेक्टर , दोनों ने पाठ विशेषताओं को निकालने के लिए (चरित्र आधारित) एन-ग्राम का इस्तेमाल किया। बैग-ऑफ-वर्ड्स (एकल शब्द / शब्दकोश) का उपयोग क्यों नहीं किया जाता है, और बैग-ऑफ-वर्ड्स और …

12 machine-learning  classification  text-mining  natural-language 

विवरण: बता दें कि प्रॉब्लम डोमेन डॉक्यूमेंट क्लासिफिकेशन है, जहां 1 या अधिक कक्षाओं से संबंधित प्रत्येक फीचर वैक्टर का एक सेट मौजूद है। उदाहरण के लिए, एक दस्तावेज़ और श्रेणियों doc_1से संबंधित हो सकता है ।SportsEnglish सवाल: वर्गीकरण के लिए तंत्रिका नेटवर्क का उपयोग करना, एक फीचर वेक्टर के …

12 machine-learning  neural-networks  natural-language  multilabel 

मुझे Word2Vec एल्गोरिथ्म के स्किप-ग्राम मॉडल को समझने में समस्या हो रही है। निरंतर बैग में शब्दों को देखना आसान है कि संदर्भ शब्द तंत्रिका नेटवर्क में "फिट" कैसे हो सकते हैं, क्योंकि आप मूल रूप से इनपुट मैट्रिक्स डब्ल्यू के साथ एक-गर्म एन्कोडिंग अभ्यावेदन के प्रत्येक को गुणा करने …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

मैं एक वेक्टर अंतरिक्ष में लगभग 60 मिलियन वाक्यांशों को एम्बेड करने की कोशिश कर रहा हूं , फिर उनके बीच कॉशन समानता की गणना करें। मैं sklearn का उपयोग कर रहा हूँ CountVectorizerएक कस्टम निर्मित tokenizer फ़ंक्शन जो unigrams और bigrams का उत्पादन करता है। यह बताता है कि …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

मुझे EM एल्गोरिथ्म के बारे में बहुत उपयोगी ट्यूटोरियल मिला । ट्यूटोरियल से उदाहरण और चित्र बस शानदार है। संभावनाओं की गणना के बारे में संबंधित प्रश्न उम्मीद अधिकतमकरण कैसे काम करता है? मेरे पास एक और सवाल है कि ट्यूटोरियल में वर्णित सिद्धांत को उदाहरण से कैसे जोड़ा जाए। …

11 machine-learning  clustering  algorithms  natural-language 

शब्द एम्बेडिंग उत्पन्न करने का एक तरीका इस प्रकार है ( दर्पण ): एक कॉर्पोरा प्राप्त करें, उदाहरण के लिए "मुझे उड़ान का आनंद मिलता है। मुझे एनएलपी पसंद है। मुझे गहरी शिक्षा पसंद है।" इससे शब्द cooccurrence मैट्रिक्स बनाएँ: XXX पर SVD का प्रदर्शन करें , और U के …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

मुझे इस वाक्य को समझने में परेशानी हो रही है: पहला प्रस्तावित आर्किटेक्चर फीडफोर्वर्ड एनएनएलएम के समान है, जहां गैर-लीनियर छिपी हुई परत को हटा दिया जाता है और सभी शब्दों के लिए प्रोजेक्शन लेयर को साझा किया जाता है (न केवल प्रोजेक्शन मैट्रिक्स); इस प्रकार, सभी शब्द एक ही …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

एक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्य के लिए अक्सर शब्दों के लिए एक एम्बेडिंग के रूप में शब्द 2vec वैक्टर का उपयोग किया जाता है। हालाँकि, ऐसे कई अज्ञात शब्द हो सकते हैं, जो शब्द 2vec vectors द्वारा कैप्चर नहीं किए गए हैं, क्योंकि ये शब्द अक्सर प्रशिक्षण डेटा में …

11 natural-language  word2vec  lstm  word-embeddings 

मैं शब्द गणना के वेक्टर में फैलाव की मात्रा कैसे निर्धारित कर सकता हूं? मैं एक आंकड़े की तलाश कर रहा हूं जो दस्तावेज़ ए के लिए उच्च होगा, क्योंकि इसमें कई अलग-अलग शब्द होते हैं जो कि असंगत रूप से होते हैं, और दस्तावेज़ बी के लिए कम होते …

10 variance  natural-language  gini  dispersion  bag-of-words 

मैं पढ़ रहा था: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition लेकिन मुझे ठीक से समझ में नहीं आ रहा है कि फार्मूला का निर्माण इस तरह से क्यों किया गया। मैं क्या समझता हूँ: iDF को कुछ स्तरों पर मापना चाहिए कि प्रत्येक दस्तावेज़ में S शब्द कितनी बार दिखाई देता है, मूल्य में कमी …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

टेक्स्ट माइनिंग के लिए फीचर निर्माण का एक पारंपरिक तरीका बैग-ऑफ-वर्ड्स दृष्टिकोण है, और किसी दिए गए टेक्स्ट डॉक्यूमेंट की विशेषता वाले वेक्टर की स्थापना के लिए tf-idf का उपयोग करके इसे बढ़ाया जा सकता है। वर्तमान में, मैं फ़ीचर वेक्टर के निर्माण के लिए द्वि-ग्राम भाषा मॉडल या (एन-ग्राम) …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

मैं समूह का प्रयास कर रहा हूं, उदाहरण के लिए, प्रोग्रामिंग के बारे में अन्य तार के साथ प्रोग्रामिंग के बारे में तार, भौतिकी के बारे में अन्य तार के साथ भौतिकी के बारे में, आदि विषयों की एक विस्तृत श्रृंखला के लिए। समस्या के भयावह सैद्धांतिक भाषाई पहलू के …

10 natural-language  data-mining