सिमेंटिक विश्लेषण के लिए बड़े डेटा पर कामेच्छा का उपयोग करें

Question

मैं डेटा विश्लेषण करने और सिमेंटिक विश्लेषण समस्या पर वर्गीकरण की भविष्यवाणी करने के लिए Libsvm का उपयोग करता हूं । लेकिन इसमें बड़े पैमाने पर डेटा पर एक प्रदर्शन मुद्दा है, क्योंकि सिमेंटिक विश्लेषण एन-आयाम समस्या की चिंता करता है।

पिछले साल, लिब्लिनियर को रिलीज़ किया गया था, और यह प्रदर्शन की अड़चन को हल कर सकता है। लेकिन इसमें बहुत अधिक मेमोरी खर्च होती है । क्या मानचित्र डेटा को बड़े डेटा पर सिमेंटिक विश्लेषण समस्या को हल करने का एकमात्र तरीका है? या फिर कोई अन्य विधियां हैं जो लिबलिनियर पर मेमोरी टोंटी को सुधार सकती हैं ?

Answer 1

ध्यान दें कि अपाचे स्पार्क पर पोर्ट किए गए LIBLINEAR का एक प्रारंभिक संस्करण है । कुछ शुरुआती विवरणों और प्रोजेक्ट साइट के लिए मेलिंग सूची टिप्पणियां देखें ।

Comments

आपके उत्तर के लिए धन्यवाद। यह एसवीएम से अलग दिखता है। मैं इसका सर्वेक्षण करूंगा। :)

— पफिन GDI

बस एक अनुस्मारक जिसे हम ऑफ-साइट को एक उत्तर से जोड़ने के लिए प्रोत्साहित नहीं करते हैं क्योंकि इसके लिंक को तोड़ने के लिए आसान है, जिससे अन्यथा उपयोगी सामुदायिक संसाधन एक मृत अंत में बदल जाते हैं। हमेशा उत्तर को अपनी पोस्ट में रखना सबसे अच्छा होता है।

— एना

इससे सहमत हूं। इस बिंदु पर, यह किसी भी तरह लिंक से अधिक मुश्किल से मौजूद है। मैं अंतर्निहित परियोजना के लिए एक लिंक जोड़ूंगा।

— सीन ओवेन

Answer 2

आप वॉवेल वॉबिट को देख सकते हैं । यह बड़े पैमाने पर सीखने के लिए काफी लोकप्रिय है और इसमें समानांतर प्रावधान शामिल हैं।

उनकी वेबसाइट से:

VW मशीन सीखने में गति का सार है, आसानी से टेराफ्रीट डेटासेट से सीखने में सक्षम है। समानांतर सीखने के माध्यम से, यह लीनियर लर्निंग, लर्निंग एल्गोरिदम के बीच पहला काम करते हुए किसी भी मशीन नेटवर्क इंटरफ़ेस के थ्रूपुट को पार कर सकता है।

Comments

खुला स्रोत और कुछ विकि। अच्छा लग रहा है। तुम्हारे सुझाव के लिए धन्यवाद। :)

— पफिन GDI