वे डोमेन क्या हैं जहां SVM अभी भी अत्याधुनिक हैं?


10

ऐसा लगता है कि गहरे तंत्रिका नेटवर्क और अन्य तंत्रिका नेटवर्क आधारित मॉडल कई मौजूदा क्षेत्रों जैसे कंप्यूटर दृष्टि, वस्तु वर्गीकरण, सुदृढीकरण सीखने आदि पर हावी हो रहे हैं।

क्या ऐसे डोमेन हैं जहां SVM (या अन्य मॉडल) अभी भी अत्याधुनिक परिणाम दे रहे हैं?

जवाबों:


12

अत्याधुनिक एक कठिन पट्टी है, क्योंकि यह स्पष्ट नहीं है कि इसे कैसे मापा जाना चाहिए। एक वैकल्पिक मानदंड, जो अत्याधुनिक है, यह पूछना है कि आप SVM आज़माना कब पसंद कर सकते हैं।

SVM के कई फायदे हैं:

  1. कर्नेल ट्रिक के माध्यम से, एसवीएम का रनटाइम महत्वपूर्ण रूप से नहीं बढ़ता है यदि आप मूल सुविधा सेट के बजाय कई गैर-रैखिक संयोजनों की विशेषताओं पर पैटर्न सीखना चाहते हैं। इसके विपरीत, एक गहरे तंत्रिका नेटवर्क की तरह अधिक आधुनिक दृष्टिकोण को समान पैटर्न बनाने के लिए गहरे या व्यापक होने की आवश्यकता होगी, जिससे इसके प्रशिक्षण समय में वृद्धि होगी।
  2. एसवीएम में "रूढ़िवादी" परिकल्पनाओं को चुनने के लिए एक अंतर्निहित पूर्वाग्रह है, जो डेटा को ओवरफिट करने की संभावना कम है, क्योंकि वे अधिकतम मार्जिन परिकल्पनाओं को खोजने की कोशिश करते हैं। कुछ अर्थों में, वे "ओकेम" के रेजर में "सेंकना" करते हैं।
  3. एसवीएम में केवल दो हाइपरपैरामीटर (कर्नेल की पसंद और नियमितीकरण स्थिर) होते हैं, इसलिए वे विशिष्ट समस्याओं को ट्यून करने में बहुत आसान होते हैं। यह आमतौर पर पैरामीटर स्पेस के माध्यम से एक साधारण ग्रिड-खोज करके उन्हें ट्यून करने के लिए पर्याप्त है, जो स्वचालित रूप से किया जा सकता है।

SVM के कुछ नुकसान भी हैं:

  1. SVMs एक क्रम है कि तराजू cubically datapoints की संख्या में आप पर प्रशिक्षित करने के लिए (यानी चाहते हैं क्रम) 1 । यह अच्छी तरह से तुलना नहीं करता है, कहते हैं, एक गहन तंत्रिका नेटवर्क के लिए एक विशिष्ट प्रशिक्षण दृष्टिकोण जो समय में चलता है , जहां डेटा बिंदुओं की संख्या है , प्रशिक्षण युग की संख्या है, और नेटवर्क में वजन की संख्या है। आमतौर पर ।O(n3)O(wne)neww,e<<n
  2. कर्नेल ट्रिक का उपयोग करने के लिए, SVMs किसी भी दो जोड़े के बीच कर्नेल के "दूरी" के लिए एक मूल्य कैश करता है। इसका मतलब है कि उन्हें मेमोरी की आवश्यकता है। यह सबसे वास्तविक दुनिया के सेटों पर क्यूबिक रनटाइम की तुलना में बहुत दूर है। कुछ हजार से अधिक डेटा पॉइंट्स से अधिकांश आधुनिक सर्वर थ्रैशिंग हो जाएंगे , जो परिमाण के कई आदेशों द्वारा प्रभावी रनटाइम को बढ़ाता है। बिंदु 1 के साथ मिलकर, इसका अर्थ है कि SVM ऊपरी सीमा पर, शायद 5,000-10,000 डेटा पॉइंट्स से परे सेटों के लिए धीमी गति से बन जाएगा।O(n2)

ये सभी कारक एसवीएम के ठीक एक उपयोग के मामले के लिए प्रासंगिक होने की ओर इशारा करते हैं: छोटे डेटासेट जहां लक्ष्य पैटर्न सोचा जाता है, एप्रीओरी, कुछ नियमित, लेकिन अत्यधिक गैर-रैखिक, बड़ी संख्या में सुविधाओं का कार्य करता है। यह उपयोग का मामला वास्तव में अक्सर उत्पन्न होता है। एक हालिया उदाहरण आवेदन जहां मैंने पाया कि एसवीएम एक प्राकृतिक दृष्टिकोण था एक लक्ष्य फ़ंक्शन के लिए भविष्य कहनेवाला मॉडल का निर्माण किया गया था जो कि विशेषताओं के जोड़े (विशेष रूप से, एजेंटों के जोड़े के बीच संचार) के बीच बातचीत का परिणाम था। एक द्विघात कर्नेल के साथ एक SVM कुशलतापूर्वक रूढ़िवादी, उचित, अनुमानों को सीख सकता है।


1 अनुमानित एल्गोरिदम हैं जो एसवीएम को तेजी से हल करेंगे, जैसा कि अन्य उत्तरों में बताया गया है।


7

डीप लर्निंग और न्यूरल नेटवर्क्स को क्षेत्र में हालिया प्रगति के कारण सबसे अधिक फोकस मिल रहा है और ज्यादातर विशेषज्ञों का मानना ​​है कि यह मशीन सीखने की समस्याओं को सुलझाने का भविष्य है।

लेकिन कोई गलती न करें, शास्त्रीय मॉडल अभी भी असाधारण परिणाम पैदा करते हैं और कुछ समस्याओं में, वे गहरी सीखने की तुलना में बेहतर परिणाम दे सकते हैं।

रैखिक प्रतिगमन अभी तक दुनिया में सबसे अधिक इस्तेमाल की जाने वाली मशीन लर्निंग एल्गोरिदम है।

एक विशिष्ट डोमेन की पहचान करना मुश्किल है जहां शास्त्रीय मॉडल हमेशा बेहतर प्रदर्शन करते हैं क्योंकि सटीकता इनपुट डेटा के आकार और गुणवत्ता पर बहुत अधिक निर्धारित होती है।

इसलिए एल्गोरिथ्म और मॉडल का चयन हमेशा एक व्यापार है। यह एक सटीक कथन है कि शास्त्रीय मॉडल अभी भी छोटे डेटा सेट के साथ बेहतर प्रदर्शन करते हैं। हालांकि, बहुत से शोध कम डेटा पर गहन सीखने के मॉडल के प्रदर्शन में सुधार करने जा रहे हैं।

अधिकांश शास्त्रीय मॉडलों के लिए कम कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, इसलिए यदि आपका लक्ष्य गति है तो यह बहुत बेहतर है।

इसके अलावा, शास्त्रीय मॉडल लागू करने और कल्पना करने में आसान होते हैं जो प्रदर्शन के लिए एक और संकेतक हो सकते हैं, लेकिन यह आपके लक्ष्यों पर निर्भर करता है।

यदि आपके पास असीमित संसाधन हैं, तो एक बड़े पैमाने पर अवलोकन योग्य डेटा सेट जिसे ठीक से लेबल किया गया है और आप इसे समस्या डोमेन के भीतर सही ढंग से लागू करते हैं, तो गहन शिक्षा आपको ज्यादातर मामलों में बेहतर परिणाम देने की संभावना है।

लेकिन मेरे अनुभव में, वास्तविक दुनिया की स्थितियां कभी भी परिपूर्ण नहीं होती हैं


0

@ जॉन के जवाब से पूरी तरह सहमत हैं। कोशिश करेंगे और कुछ और बिंदुओं के साथ पूरक करेंगे।

एसवीएम के कुछ फायदे:

a) एसवीएम को एक उत्तल अनुकूलन समस्या से परिभाषित किया गया है जिसके लिए एसएमओ की तरह हल करने के कुशल तरीके हैं ।

बी) उच्च आयामी स्थानों में प्रभावी और उन मामलों में भी जहां आयामों की संख्या नमूनों की संख्या से अधिक है।

ग) निर्णय समारोह में प्रशिक्षण बिंदुओं के एक सबसेट का उपयोग करता है (जिसे सपोर्ट वैक्टर कहा जाता है), इसलिए यह मेमोरी कुशल भी है।

डी) निर्णय समारोह के लिए विभिन्न कर्नेल फ़ंक्शन निर्दिष्ट किए जा सकते हैं। । अपने सरलतम रूप में, कर्नेल ट्रिक का अर्थ है डेटा को दूसरे आयाम में बदलना जिसमें डेटा की कक्षाओं के बीच स्पष्ट विभाजन मार्जिन होता है।

समर्थन वेक्टर मशीनों के नुकसान में शामिल हैं:

क) यदि सुविधाओं की संख्या नमूनों की संख्या से बहुत अधिक है, तो कर्नेल कार्यों को चुनने में अति-फिटिंग से बचना और नियमितीकरण शब्द महत्वपूर्ण है। मॉडल चयन मानदंड को ओवर-फिटिंग करने के लिए कर्नेल मॉडल काफी संवेदनशील हो सकते हैं

ख) एसवीएम सीधे संभाव्यता अनुमान प्रदान नहीं करते हैं। कई वर्गीकरण समस्याओं में आप वास्तव में वर्ग की सदस्यता की संभावना चाहते हैं, इसलिए संभावनाएं प्राप्त करने के लिए एसवीएम के आउटपुट को पोस्ट-प्रोसेस करने के बजाय लॉजिस्टिक रिग्रेशन जैसी विधि का उपयोग करना बेहतर होगा।


-1

निम्न-आयामी सारणीबद्ध डेटा के डेटासेट के लिए। डीएनएन कम ओवरएक्टिव इनपुट पर कुशल नहीं हैं क्योंकि भारी ओवरप्रेमेट्रिशन है। इसलिए भले ही डेटासेट आकार में विशाल हो, लेकिन प्रत्येक नमूना कम-आयामी एसवीएम DNN को हरा देगा।

आम तौर पर यदि डेटा सारणीबद्ध है और नमूना के क्षेत्रों के बीच संबंध कमजोर और शोर है, तो एसवीएम अभी भी उच्च आयामी डेटा के लिए डीएनएन को हरा सकता है, लेकिन यह डेटा के विशिष्ट पर निर्भर करता है।

दुर्भाग्य से मैं इस विषय पर किसी भी विशिष्ट कागजात को याद नहीं कर सकता, इसलिए यह ज्यादातर सामान्य ज्ञान तर्क है, आपको इस पर भरोसा करने की आवश्यकता नहीं है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.