मैं एसवीएम का उपयोग करके संदेशों को विभिन्न श्रेणियों में वर्गीकृत करने की कोशिश कर रहा हूं। मैंने प्रशिक्षण सेट से वांछनीय शब्दों / प्रतीकों की एक सूची तैयार की है।
प्रत्येक वेक्टर के लिए, जो एक संदेश का प्रतिनिधित्व करता है, यदि मैं 1शब्द मौजूद है तो मैं इसी पंक्ति को सेट करता हूं :
"कॉर्पस" है: [मेरी, छोटी, मेमना, तारा, ट्विंकल]
पहला संदेश: "मेरी थोड़ी सी मेमरी थी" -> [1 1 1 0 0]
दूसरा संदेश: "ट्विंकल लिटिल स्टार" -> [0 1 0 0 1 1]
मुझे लगता है कि यह एसवीएम के साथ काफी सामान्य सेटअप है, लेकिन मेरा सवाल है, सेट में हजारों शब्दों के साथ, क्या होगा यदि प्रति संदेश केवल 1-2 शब्द हैं जो वास्तव में दिखाते हैं? क्या प्रशिक्षण वैक्टर के मेरे सेट की रैखिक निर्भरता अभिसरण की क्षमता को प्रतिकूल रूप से प्रभावित करने वाली है?
1
क्या आपके पास बहुत अधिक डेटा है, लेकिन बहुत कम लेबल वाला डेटा है? यदि ऐसा है तो आप अर्ध-पर्यवेक्षित शिक्षा में देखना चाहते हैं। आपके अनलेब किए गए कुछ डेटा का उपयोग करने से दोनों को आपकी सटीकता बढ़नी चाहिए और ओवरफिटिंग के जोखिम को कम करना चाहिए।
—
न्यूरॉन
@neuron मैंने ऐसा करने के बारे में सोचा था। अर्ध-पर्यवेक्षित वास्तुकला का एक उदाहरण क्या है?
—
जोंस्का
मैंने केवल अर्ध-पर्यवेक्षित (ट्रेनिंगसेट पर उर्फ ट्रेन मॉडल, डेटा पर भविष्यवाणी करने के लिए मॉडल का उपयोग करने के तरीकों का उपयोग किया है, सभी डेटा> 0.5 की भविष्यवाणी संभावना के साथ खींचा और ट्रेनिंगसेट के साथ विलय, और नए गेटिंगसेट पर माइल बनाएं)। लेकिन मैंने फ्लेक्समिक्स का उल्लेख कुछ स्थानों पर किया है ( क्रैन.प्रोप्रोजेक्ट.org/web/packages/flexmix देखें )
—
न्यूरॉन
@neuron ठीक है, अच्छा है, क्योंकि मैंने जो लेख देखे (त्वरित विकिपीडिया जैसी खोज के साथ) वास्तुकला के बारे में बहुत विशिष्ट नहीं थे। मैं बाहर की जाँच करेगा
—
jonsca
flexmix- हालांकि, मैंने अपने कैलेंडर पर "आर सीखें" को अभी कुछ वर्षों के लिए रखा है!
यह करो, आर अद्भुत है, जो पुस्तकालय आपके लिए उपलब्ध हो जाते हैं, वे केवल मन के हैं। Caret, sqldf / rmysql, foreach (समानांतर के लिए), ggplot2 और googlevis जैसी चीजें केवल आश्चर्यजनक सहायक उपकरण हैं। मैं पहली बार में भाषा का प्रशंसक नहीं था, लेकिन यह मुझ पर उगा है, और मुझे अब इसका उपयोग करना बहुत पसंद है।
—
न्यूरॉन