कई पर्यवेक्षित वर्गीकरण कार्यों में कर्नेल विधियां बहुत प्रभावी हैं। तो कर्नेल विधियों की सीमाएं क्या हैं और कर्नेल विधियों का उपयोग कब करें? विशेष रूप से बड़े पैमाने पर डेटा युग में, कर्नेल के तरीकों की प्रगति क्या है? कर्नेल के तरीकों और कई उदाहरणों के सीखने के बीच अंतर क्या है? यदि डेटा है 500x10000, 500तो नमूनों की गिनती है, और 10000प्रत्येक सुविधा का आयाम है, तो इस परिस्थिति में, क्या हम कर्नेल विधियों का उपयोग कर सकते हैं?
जवाबों:
गिरी हुई विधियों का उपयोग पर्यवेक्षित और अनुपयोगी समस्याओं के लिए किया जा सकता है। प्रसिद्ध उदाहरण क्रमशः वेक्टर मशीन और कर्नेल स्पेक्ट्रल क्लस्टरिंग हैं।
कर्नेल विधियाँ एक परिवर्तित सुविधा स्थान में रेखीय एल्गोरिथ्म का उपयोग करने के लिए एक संरचित तरीका प्रदान करती हैं, जिसके लिए परिवर्तन आम तौर पर अरेखीय (और उच्च आयामी स्थान पर) होता है। इस तथाकथित कर्नेल ट्रिक का मुख्य लाभ यह है कि nonlinear पैटर्न उचित कम्प्यूटेशनल लागत पर पाया जा सकता है ।
ध्यान दें कि मैंने कहा कि कम्प्यूटेशनल लागत उचित है, लेकिन नगण्य नहीं है। कर्नेल विधियाँ आमतौर पर कर्नेल मैट्रिक्स साथ की संख्या में प्रशिक्षण इंस्टेंसेस का निर्माण करती हैं। इसलिए कर्नेल विधियों की जटिलता इनपुट आयामों की संख्या के बजाय प्रशिक्षण उदाहरणों की संख्या का एक फ़ंक्शन है। समर्थन वेक्टर मशीनें, उदाहरण के लिए, और बीच एक प्रशिक्षण जटिलता है । बहुत बड़े साथ समस्याओं के लिए , यह जटिलता वर्तमान में निषेधात्मक है।
आयामों की संख्या बड़ी होने और नमूनों की संख्या अपेक्षाकृत कम होने (जैसे, 1 मिलियन से कम) होने पर यह कर्नेल विधियों को एक कम्प्यूटेशनल परिप्रेक्ष्य से बहुत दिलचस्प बनाता है।
संबंधित: रैखिक कर्नेल और गैर-रेखीय कर्नेल समर्थन वेक्टर मशीन के लिए?
के लिए बहुत तरह के रूप में उच्च आयामी समस्याओं, 10000आयाम हैं कि विवादित उल्लेख, वहां अक्सर एक उच्च आयामी सुविधा अंतरिक्ष को मैप करने की कोई जरूरत नहीं है। इनपुट स्पेस पहले से ही काफी अच्छा है। ऐसी समस्याओं के लिए, रैखिक विधियाँ लगभग समान पूर्वानुमान वाले प्रदर्शन के साथ तेजी से परिमाण के आदेश हैं । इन विधियों के उदाहरण LIBLINEAR या Vowpal Wabbit में देखे जा सकते हैं ।
जब आप एक उच्च आयामी इनपुट स्थान में कई नमूने हैं, तो रैखिक तरीके विशेष रूप से दिलचस्प हैं। जब आपके पास केवल नमूने होंगे, तो नॉनलाइन कर्नेल विधि का उपयोग करना भी सस्ता होगा (चूंकि छोटा है)। यदि आपने कहा था, तो आयामों में नमूने , कर्नेल विधियाँ प्रभावी होंगी।
कई प्रशिक्षण उदाहरणों (तथाकथित बड़ी छोटी समस्याओं) के साथ कम आयामी समस्याओं के लिए , रैखिक विधियां खराब पूर्वानुमान सटीकता प्राप्त कर सकती हैं। इस तरह की समस्याओं के लिए, एसेम्बल वीवीएम जैसे एनसेम्बल विधियां मानक एमएम की तुलना में काफी कम कम्प्यूटेशनल लागत पर बिनालाइन निर्णय सीमा प्रदान करती हैं।
gammaसे आरबीएफ कर्नेल के लिए। के लिए इष्टतम मान gammaइनपुट आयामों की संख्या से संबंधित है। सबसे आम ट्यूनिंग दृष्टिकोण क्रॉस-मान्यता है। यदि आप के gammaसाथ और बिना आयामी कमी के लिए समान मूल्य का उपयोग करते हैं तो आप शायद गलती कर रहे हैं।
grid.pyमें libsvmक्रॉस-वेलिडेशन करने के लिए उपयोग करता हूं । और ज्यादातर परिस्थितियों में, उच्च आयाम डेटा के लिए, gammaहमेशा बहुत छोटा, जैसे कि 0.00001, यह स्तर।
EnsembleSVM, क्या इसे क्रॉस-वेलिडेशन प्रक्रिया को मल्टीथ्रेडिंग बनाने की आवश्यकता है? और मुझे लगता है कि भविष्यवाणी की अवस्था में, यह अच्छा होगा कि बैचों और मल्टीथ्रेडिंग या मल्टी मशीनों में भारी डेटा की भविष्यवाणी की जाए?
esvm-trainऔर में सक्षम है esvm-predict। मल्टीथ्रेडिंग को अक्षम करने के लिए, उन उपकरणों में निम्न ध्वज का उपयोग करें -threads 1:।
RBFकर्नेल का उपयोग करता हूं, तोlibsvmयह हमेशा ओवरफिटिंग होता है, क्लासिफायर परीक्षण सेट में एक उच्च सटीकता लेकिन कम सटीकता प्राप्त करता है। और यदि मैं क्लासिफायर से पहले आयाम में कमी करता हूं, और कम किया गया आयाम प्रशिक्षण नमूनों की संख्या के करीब है, तो वर्गीकरण शायद परीक्षण और परीक्षण सेट के बीच एक अच्छा लाभ प्राप्त करता है। क्या परिणाम सबसे अनुभवजन्य परिणाम फिट बैठता है? धन्यवाद।