tokenize पर टैग किए गए जवाब

टोकन को असतत तत्वों में स्ट्रिंग को विभाजित करने का कार्य टोकन कहा जाता है।


16
पार्स (विभाजित) स्ट्रिंग सीमांकक (मानक C ++) का उपयोग करके C ++ में एक स्ट्रिंग
मैं निम्नलिखित का उपयोग करके C ++ में एक स्ट्रिंग पार्स कर रहा हूं: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } एकल चार सीमांकक के साथ पार्सिंग ठीक है। लेकिन क्या होगा अगर मैं एक स्ट्रिंग को सीमांकक …
360 c++  parsing  split  token  tokenize 


17
शेल में एक स्ट्रिंग कैसे विभाजित करें और अंतिम फ़ील्ड प्राप्त करें
मान लीजिए कि मेरे पास स्ट्रिंग है 1:2:3:4:5और मैं इसका अंतिम क्षेत्र ( 5इस मामले में) प्राप्त करना चाहता हूं । मैं बैश का उपयोग कैसे करूँ? मैंने कोशिश की cut, लेकिन मुझे नहीं पता कि अंतिम फ़ील्ड को कैसे निर्दिष्ट किया जाए -f।
293 bash  split  tokenize  cut 

10
स्कैनर बनाम स्ट्रिंगटॉकेनाइज़र बनाम स्ट्रिंग
मैंने अभी जावा के स्कैनर वर्ग के बारे में सीखा है और अब मैं सोच रहा हूं कि यह स्ट्रिंगरोकेंनाइज़र और स्ट्रिंगसिंगिट के साथ तुलना / प्रतिस्पर्धा कैसे करता है। मुझे पता है कि StringTokenizer और String.Split केवल स्ट्रिंग्स पर काम करते हैं, इसलिए मैं एक स्ट्रिंग के लिए स्कैनर …

4
एक "tokenizer", "parser" और "lexers" क्या हैं की स्पष्ट परिभाषा के लिए देख रहे हैं और वे कैसे एक दूसरे से संबंधित हैं और उपयोग किया जाता है?
मैं एक "tokenizer", "parser" और "lexer" क्या हैं और वे एक-दूसरे से कैसे संबंधित हैं (जैसे, क्या parser एक tokenizer या इसके विपरीत का उपयोग करता है) की स्पष्ट परिभाषा के लिए देख रहा हूँ? मुझे डाटा डिक्लेरेशन और परिभाषाएँ निकालने के लिए c / h स्रोत फ़ाइलों के माध्यम …
151 parsing  lexer  tokenize 

5
क्या पायथन कोड की एक पंक्ति इसके इंडेंटेशन नेस्टिंग स्तर को जान सकती है?
कुछ इस तरह से: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) मैं कुछ इस तरह से प्राप्त करना चाहूंगा: 1 2 3 क्या कोड को इस तरह से पढ़ा जा सकता है? मैं चाहता हूं कि कोड के अधिक नेस्टेड भागों से आउटपुट अधिक नेस्टेड हो। इसी तरह से यह कोड को पढ़ना आसान …


11
एनएलटीके टोकनर का उपयोग करके विराम चिह्न से कैसे छुटकारा पाएं?
मैं सिर्फ एनएलटीके का उपयोग करना शुरू कर रहा हूं और मुझे यह समझ में नहीं आया कि पाठ से शब्दों की सूची कैसे प्राप्त की जाए। यदि मैं उपयोग करता हूं nltk.word_tokenize(), तो मुझे शब्दों और विराम चिह्नों की एक सूची मिलती है। मुझे इसके बजाय केवल शब्दों की …
125 python  nlp  tokenize  nltk 

13
ओरेकल में कई पंक्तियों में स्ट्रिंग को विभाजित करना
मुझे पता है कि यह कुछ हद तक PHP और MYSQL के साथ उत्तर दिया गया है, लेकिन मैं सोच रहा था कि क्या कोई मुझे Oracle 10g (अधिमानतः) और 11g में कई पंक्तियों में एक स्ट्रिंग (अल्पविराम सीमांकित) को विभाजित करने का सबसे सरल दृष्टिकोण सिखा सकता है। तालिका …
104 sql  string  oracle  plsql  tokenize 
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.