एनएलटीके के साथ एक नया कॉर्पस बनाना

Question

मुझे लगता है कि अक्सर मेरे शीर्षक का उत्तर दस्तावेज़ों को पढ़ने और पढ़ने के लिए है, लेकिन मैं एनएलटीके पुस्तक के माध्यम से भाग गया, लेकिन यह जवाब नहीं देता है। मैं अजगर के लिए नया हूँ।

मेरे पास .txtफ़ाइलों का एक गुच्छा है और मैं कॉर्पस फ़ंक्शन का उपयोग करने में सक्षम होना चाहता हूं जो एनएलटीके कॉर्पस के लिए प्रदान करता है nltk_data।

मैंने कोशिश की है, PlaintextCorpusReaderलेकिन मैं इससे आगे नहीं बढ़ सका:

>>>import nltk
>>>from nltk.corpus import PlaintextCorpusReader
>>>corpus_root = './'
>>>newcorpus = PlaintextCorpusReader(corpus_root, '.*')
>>>newcorpus.words()

मैं newcorpusपंकट का उपयोग करके वाक्यों को कैसे खंडित कर सकता हूं ? मैंने पंकट फ़ंक्शंस का उपयोग करने की कोशिश की, लेकिन पंक फ़ंक्शंस PlaintextCorpusReaderक्लास नहीं पढ़ सके ?

क्या आप मुझे यह भी बता सकते हैं कि मैं खंडित डेटा को पाठ फ़ाइलों में कैसे लिख सकता हूं?

Answer 1

मुझे लगता है कि PlaintextCorpusReaderपहले से ही इनपुट को एक पंकट टोकन के साथ सेगमेंट करता है, कम से कम यदि आपकी इनपुट भाषा अंग्रेजी है।

PlainTextCorpusReader का निर्माता

def __init__(self, root, fileids,
             word_tokenizer=WordPunctTokenizer(),
             sent_tokenizer=nltk.data.LazyLoader(
                 'tokenizers/punkt/english.pickle'),
             para_block_reader=read_blankline_block,
             encoding='utf8'):

आप पाठक को एक शब्द और वाक्य टोकन पास कर सकते हैं, लेकिन बाद के लिए डिफ़ॉल्ट पहले से ही है nltk.data.LazyLoader('tokenizers/punkt/english.pickle')।

एक स्ट्रिंग के लिए, एक टोकन का उपयोग निम्नानुसार किया जाएगा ( यहां समझाया गया है , पंकट टोकन के लिए धारा 5 देखें)।

>>> import nltk.data
>>> text = """
... Punkt knows that the periods in Mr. Smith and Johann S. Bach
... do not mark sentence boundaries.  And sometimes sentences
... can start with non-capitalized words.  i is a good variable
... name.
... """
>>> tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
>>> tokenizer.tokenize(text.strip())

Comments

स्पष्टीकरण के लिए धन्यवाद। समझ गया। लेकिन मैं खंडित वाक्यों को एक अलग txt फ़ाइल में कैसे आउटपुट कर सकता हूँ?

— alvas

"एनएलटीके डेटा पैकेज में अंग्रेजी के लिए एक पूर्व-प्रशिक्षित पंकट टोकन शामिल है।"

— बृजेश चौहान

Answer 2

यह कैसे काम करता है, यह जानने के कुछ वर्षों के बाद, यहाँ का अपडेटेड ट्यूटोरियल है

TextTiles की निर्देशिका के साथ NLTK कॉर्पस कैसे बनाएं?

मुख्य विचार nltk.corpus.reader पैकेज का उपयोग करना है । इस मामले में कि आपके पास अंग्रेजी में टेक्स्टफाइल्स की एक निर्देशिका है , यह प्लेनटेक्स्टकॉर्पस राइडर का उपयोग करना सबसे अच्छा है ।

यदि आपके पास एक निर्देशिका है जो इस तरह दिखती है:

newcorpus/
         file1.txt
         file2.txt
         ...

बस कोड की इन पंक्तियों का उपयोग करें और आप एक कोष प्राप्त कर सकते हैं:

import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader

corpusdir = 'newcorpus/' # Directory of corpus.

newcorpus = PlaintextCorpusReader(corpusdir, '.*')

नोट: यह PlaintextCorpusReaderडिफ़ॉल्ट का उपयोग करेगा nltk.tokenize.sent_tokenize()और nltk.tokenize.word_tokenize()आपके ग्रंथों को वाक्यों और शब्दों में विभाजित करने के लिए होगा और ये फ़ंक्शन अंग्रेजी के लिए बनाए गए हैं, यह सभी भाषाओं के लिए काम नहीं कर सकता है ।

टेस्ट टेक्स्टफाइल्स के निर्माण और एनएलटीके के साथ कॉर्पस बनाने के लिए और विभिन्न स्तरों पर कॉर्पस तक पहुंचने के तरीके के साथ पूर्ण कोड यहां दिया गया है:

import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader

# Let's create a corpus with 2 texts in different textfile.
txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
txt2 = """Are you a foo bar? Yes I am. Possibly, everyone is.\n"""
corpus = [txt1,txt2]

# Make new dir for the corpus.
corpusdir = 'newcorpus/'
if not os.path.isdir(corpusdir):
    os.mkdir(corpusdir)

# Output the files into the directory.
filename = 0
for text in corpus:
    filename+=1
    with open(corpusdir+str(filename)+'.txt','w') as fout:
        print>>fout, text

# Check that our corpus do exist and the files are correct.
assert os.path.isdir(corpusdir)
for infile, text in zip(sorted(os.listdir(corpusdir)),corpus):
    assert open(corpusdir+infile,'r').read().strip() == text.strip()


# Create a new corpus by specifying the parameters
# (1) directory of the new corpus
# (2) the fileids of the corpus
# NOTE: in this case the fileids are simply the filenames.
newcorpus = PlaintextCorpusReader('newcorpus/', '.*')

# Access each file in the corpus.
for infile in sorted(newcorpus.fileids()):
    print infile # The fileids of each file.
    with newcorpus.open(infile) as fin: # Opens the file.
        print fin.read().strip() # Prints the content of the file
print

# Access the plaintext; outputs pure string/basestring.
print newcorpus.raw().strip()
print 

# Access paragraphs in the corpus. (list of list of list of strings)
# NOTE: NLTK automatically calls nltk.tokenize.sent_tokenize and 
#       nltk.tokenize.word_tokenize.
#
# Each element in the outermost list is a paragraph, and
# Each paragraph contains sentence(s), and
# Each sentence contains token(s)
print newcorpus.paras()
print

# To access pargraphs of a specific fileid.
print newcorpus.paras(newcorpus.fileids()[0])

# Access sentences in the corpus. (list of list of strings)
# NOTE: That the texts are flattened into sentences that contains tokens.
print newcorpus.sents()
print

# To access sentences of a specific fileid.
print newcorpus.sents(newcorpus.fileids()[0])

# Access just tokens/words in the corpus. (list of strings)
print newcorpus.words()

# To access tokens of a specific fileid.
print newcorpus.words(newcorpus.fileids()[0])

अंत में, ग्रंथों की एक निर्देशिका को पढ़ने के लिए और दूसरी भाषाओं में एक एनएलटीके कॉर्पस बनाने के लिए, आपको पहले यह सुनिश्चित करना होगा कि आपके पास एक अजगर- कॉल करने योग्य शब्द टोकन और वाक्य टोकन मॉड्यूल है जो स्ट्रिंग / बेसस्ट्रिंग इनपुट लेता है और इसका आउटपुट उत्पन्न करता है:

>>> from nltk.tokenize import sent_tokenize, word_tokenize
>>> txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
>>> sent_tokenize(txt1)
['This is a foo bar sentence.', 'And this is the first txtfile in the corpus.']
>>> word_tokenize(sent_tokenize(txt1)[0])
['This', 'is', 'a', 'foo', 'bar', 'sentence', '.']

Comments

स्पष्टीकरण के लिए धन्यवाद। कई भाषाएं डिफ़ॉल्ट रूप से समर्थित हैं, हालांकि।

— एंड्रयू टोबी

यदि किसी को कोई AttributeError: __exit__त्रुटि मिलती है । के open()बजाय का उपयोग करेंwith()

— Tasdik रहमान

Answer 3

 >>> import nltk
 >>> from nltk.corpus import PlaintextCorpusReader
 >>> corpus_root = './'
 >>> newcorpus = PlaintextCorpusReader(corpus_root, '.*')
 """
 if the ./ dir contains the file my_corpus.txt, then you 
 can view say all the words it by doing this 
 """
 >>> newcorpus.words('my_corpus.txt')

Comments

देवनागरी भाषा के लिए कुछ समस्या को गोली मारता है।

— ashim888

Answer 4

from nltk.corpus.reader.plaintext import PlaintextCorpusReader


filecontent1 = "This is a cow"
filecontent2 = "This is a Dog"

corpusdir = 'nltk_data/'
with open(corpusdir + 'content1.txt', 'w') as text_file:
    text_file.write(filecontent1)
with open(corpusdir + 'content2.txt', 'w') as text_file:
    text_file.write(filecontent2)

text_corpus = PlaintextCorpusReader(corpusdir, ["content1.txt", "content2.txt"])

no_of_words_corpus1 = len(text_corpus.words("content1.txt"))
print(no_of_words_corpus1)
no_of_unique_words_corpus1 = len(set(text_corpus.words("content1.txt")))

no_of_words_corpus2 = len(text_corpus.words("content2.txt"))
no_of_unique_words_corpus2 = len(set(text_corpus.words("content2.txt")))

enter code here