कई श्रेणियों में वर्गीकृत करने के लिए scikit-learn का उपयोग करें

Question 1

मैं एक या अधिक श्रेणियों में पाठ के टुकड़ों को वर्गीकृत करने के लिए scikit-learn के पर्यवेक्षित शिक्षण विधियों में से एक का उपयोग करने की कोशिश कर रहा हूं। सभी एल्गोरिदम की भविष्यवाणी का कार्य मैंने केवल एक मैच की वापसी की कोशिश की।

उदाहरण के लिए मेरे पास पाठ का एक टुकड़ा है:

"Theaters in New York compared to those in London"

और मैंने हर पाठ स्निपेट के लिए एक जगह चुनने के लिए एल्गोरिथ्म को प्रशिक्षित किया है जो मैं इसे खिलाता हूं।

उपरोक्त उदाहरण में, मैं चाहता हूं कि यह वापस आए New Yorkऔर London, लेकिन यह केवल वापस लौटे New York।

क्या कई परिणामों को वापस करने के लिए scikit-learn का उपयोग करना संभव है? या यहां तक कि अगले उच्चतम संभावना के साथ लेबल वापस करें?

आपकी सहायता के लिए धन्यवाद।

---अपडेट करें

मैंने उपयोग करने की कोशिश की, OneVsRestClassifierलेकिन मुझे अभी भी केवल एक विकल्प प्रति पाठ का एक टुकड़ा वापस मिल रहा है। नीचे नमूना कोड मैं उपयोग कर रहा हूं

y_train = ('New York','London')


train_set = ("new york nyc big apple", "london uk great britain")
vocab = {'new york' :0,'nyc':1,'big apple':2,'london' : 3, 'uk': 4, 'great britain' : 5}
count = CountVectorizer(analyzer=WordNGramAnalyzer(min_n=1, max_n=2),vocabulary=vocab)
test_set = ('nice day in nyc','london town','hello welcome to the big apple. enjoy it here and london too')

X_vectorized = count.transform(train_set).todense()
smatrix2  = count.transform(test_set).todense()


base_clf = MultinomialNB(alpha=1)

clf = OneVsRestClassifier(base_clf).fit(X_vectorized, y_train)
Y_pred = clf.predict(smatrix2)
print Y_pred

परिणाम: ['न्यू यॉर्क' 'लंदन' 'लंदन']

Question 2

आप जो चाहते हैं, उसे मल्टी-लेबल वर्गीकरण कहा जाता है। Scikits- सीख सकते हैं। यहां देखें: http://scikit-learn.org/dev/modules/multiclass.html ।

मुझे यकीन नहीं है कि आपके उदाहरण में क्या गलत हो रहा है, मेरे sklearn के संस्करण में स्पष्ट रूप से WordNGramAnalyzer नहीं है। शायद यह अधिक प्रशिक्षण उदाहरणों का उपयोग करने या एक अलग क्लासिफायर की कोशिश करने का सवाल है? हालांकि ध्यान दें कि मल्टी-लेबल क्लासिफायर लक्ष्य को ट्यूल की सूची / लेबल की सूची होने की उम्मीद करता है।

निम्नलिखित मेरे लिए काम करता है:

import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.svm import LinearSVC
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.multiclass import OneVsRestClassifier

X_train = np.array(["new york is a hell of a town",
                    "new york was originally dutch",
                    "the big apple is great",
                    "new york is also called the big apple",
                    "nyc is nice",
                    "people abbreviate new york city as nyc",
                    "the capital of great britain is london",
                    "london is in the uk",
                    "london is in england",
                    "london is in great britain",
                    "it rains a lot in london",
                    "london hosts the british museum",
                    "new york is great and so is london",
                    "i like london better than new york"])
y_train = [[0],[0],[0],[0],[0],[0],[1],[1],[1],[1],[1],[1],[0,1],[0,1]]
X_test = np.array(['nice day in nyc',
                   'welcome to london',
                   'hello welcome to new york. enjoy it here and london too'])   
target_names = ['New York', 'London']

classifier = Pipeline([
    ('vectorizer', CountVectorizer(min_n=1,max_n=2)),
    ('tfidf', TfidfTransformer()),
    ('clf', OneVsRestClassifier(LinearSVC()))])
classifier.fit(X_train, y_train)
predicted = classifier.predict(X_test)
for item, labels in zip(X_test, predicted):
    print '%s => %s' % (item, ', '.join(target_names[x] for x in labels))

मेरे लिए, यह आउटपुट का उत्पादन करता है:

nice day in nyc => New York
welcome to london => London
hello welcome to new york. enjoy it here and london too => New York, London

उम्मीद है की यह मदद करेगा।

Question 3

संपादित करें: पाइथन 3 के लिए अपडेट किया गया, मल्टीक्लैबिनराइज़र के रूप में सुझाए गए का उपयोग करके शिकन-सीखें 0.18.1।

मैं इस पर भी काम कर रहा हूं, और mwv के उत्कृष्ट उत्तर के लिए थोड़ी वृद्धि की है जो उपयोगी हो सकता है। यह बाइनरी लेबल के बजाय इनपुट के रूप में टेक्स्ट लेबल लेता है और उन्हें मल्टीलेबलबिनिज़र का उपयोग करके एन्कोड करता है।

import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.svm import LinearSVC
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.multiclass import OneVsRestClassifier
from sklearn.preprocessing import MultiLabelBinarizer

X_train = np.array(["new york is a hell of a town",
                    "new york was originally dutch",
                    "the big apple is great",
                    "new york is also called the big apple",
                    "nyc is nice",
                    "people abbreviate new york city as nyc",
                    "the capital of great britain is london",
                    "london is in the uk",
                    "london is in england",
                    "london is in great britain",
                    "it rains a lot in london",
                    "london hosts the british museum",
                    "new york is great and so is london",
                    "i like london better than new york"])
y_train_text = [["new york"],["new york"],["new york"],["new york"],["new york"],
                ["new york"],["london"],["london"],["london"],["london"],
                ["london"],["london"],["new york","london"],["new york","london"]]

X_test = np.array(['nice day in nyc',
                   'welcome to london',
                   'london is rainy',
                   'it is raining in britian',
                   'it is raining in britian and the big apple',
                   'it is raining in britian and nyc',
                   'hello welcome to new york. enjoy it here and london too'])
target_names = ['New York', 'London']

mlb = MultiLabelBinarizer()
Y = mlb.fit_transform(y_train_text)

classifier = Pipeline([
    ('vectorizer', CountVectorizer()),
    ('tfidf', TfidfTransformer()),
    ('clf', OneVsRestClassifier(LinearSVC()))])

classifier.fit(X_train, Y)
predicted = classifier.predict(X_test)
all_labels = mlb.inverse_transform(predicted)

for item, labels in zip(X_test, all_labels):
    print('{0} => {1}'.format(item, ', '.join(labels)))

यह मुझे निम्न आउटपुट देता है:

nice day in nyc => new york
welcome to london => london
london is rainy => london
it is raining in britian => london
it is raining in britian and the big apple => new york
it is raining in britian and nyc => london, new york
hello welcome to new york. enjoy it here and london too => london, new york

Question 4

मैं बस इसी में भाग गया, और मेरे लिए समस्या यह थी कि मेरा y_Train स्ट्रिंग्स के अनुक्रम के बजाय स्ट्रिंग्स का एक अनुक्रम था। जाहिर है, OneVsRestClassifier इनपुट लेबल फॉर्मेट के आधार पर तय करेगा कि मल्टी-क्लास बनाम मल्टी-लेबल का उपयोग करना है या नहीं। तो बदलो:

y_train = ('New York','London')

सेवा

y_train = (['New York'],['London'])

जाहिरा तौर पर यह भविष्य में गायब हो जाएगा, क्योंकि यह सभी लेबलों का टूटना समान है: https://github.com/scikit-learn/scikit-learn/pull/1987

Question 5

अजगर के नए संस्करणों में काम करने के लिए इस लाइन को बदलें

# lb = preprocessing.LabelBinarizer()
lb = preprocessing.MultiLabelBinarizer()

Question 6

कुछ बहु वर्गीकरण उदाहरण इस प्रकार हैं: -

उदाहरण 1:-

import numpy as np
from sklearn.preprocessing import LabelBinarizer
encoder = LabelBinarizer()

arr2d = np.array([1, 2, 3,4,5,6,7,8,9,10,11,12,13,14,1])
transfomed_label = encoder.fit_transform(arr2d)
print(transfomed_label)

आउटपुट है

[[1 0 0 0 0 0 0 0 0 0 0 0 0 0]
 [0 1 0 0 0 0 0 0 0 0 0 0 0 0]
 [0 0 1 0 0 0 0 0 0 0 0 0 0 0]
 [0 0 0 1 0 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 1 0 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 1 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 1 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 1 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 1 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 1 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 0 1 0 0 0]
 [0 0 0 0 0 0 0 0 0 0 0 1 0 0]
 [0 0 0 0 0 0 0 0 0 0 0 0 1 0]
 [0 0 0 0 0 0 0 0 0 0 0 0 0 1]
 [1 0 0 0 0 0 0 0 0 0 0 0 0 0]]

उदाहरण 2: -

import numpy as np
from sklearn.preprocessing import LabelBinarizer
encoder = LabelBinarizer()

arr2d = np.array(['Leopard','Lion','Tiger', 'Lion'])
transfomed_label = encoder.fit_transform(arr2d)
print(transfomed_label)

आउटपुट है

[[1 0 0]
 [0 1 0]
 [0 0 1]
 [0 1 0]]