क्या होता है जब हम एक रेखीय एसवीएम को गैर-रैखिक रूप से अलग करने योग्य डेटा पर प्रशिक्षित करते हैं?


11

क्या होता है जब हम गैर-रेखीय रूप से वियोज्य डेटा पर एक बुनियादी समर्थन वेक्टर मशीन (रैखिक कर्नेल और कोई नरम-मार्जिन) को प्रशिक्षित करते हैं? अनुकूलन समस्या संभव नहीं है, इसलिए न्यूनतमकरण एल्गोरिथ्म क्या लौटाता है?

जवाबों:


11

मुझे लगता है कि बुनियादी समर्थन वेक्टर मशीन का मतलब है हार्ड-मार्जिन एसवीएम। तो, चलो समीक्षा करें:

एक हार्ड-मार्जिन एसवीएम क्या है

संक्षेप में, हम सबसे बड़े मार्जिन के साथ एक हाइपरप्लेन ढूंढना चाहते हैं जो हमारे प्रशिक्षण नमूना स्थान में सभी टिप्पणियों को सही ढंग से अलग करने में सक्षम हो।

हार्ड-मार्जिन SVM में अनुकूलन समस्या

उपरोक्त परिभाषा को देखते हुए, अनुकूलन समस्या क्या है जिसे हमें हल करने की आवश्यकता है?

  1. सबसे बड़ा मार्जिन हाइपरप्लेन: हम चाहते हैं max(margin)
  2. सभी टिप्पणियों को सही ढंग से अलग करने में सक्षम हो: हमें marginबाधा को अनुकूलित करने और संतुष्ट करने की भी आवश्यकता है : कोई नमूना त्रुटि नहीं

क्या होता है जब हम एक रेखीय एसवीएम को गैर-रैखिक रूप से अलग करने योग्य डेटा पर प्रशिक्षित करते हैं?

अपने प्रश्न पर वापस जाएं, क्योंकि आपने उल्लेख किया है कि प्रशिक्षण डेटा सेट सुविधागत परिवर्तनों के बिना हार्ड-मार्जिन एसवीएम का उपयोग करके रैखिक रूप से अलग नहीं है, "हाइपर-सैंपल त्रुटियों" को संतुष्ट करने वाले किसी भी हाइपरप्लेन को ढूंढना असंभव है

आम तौर पर, हम द्विघात प्रोग्रामिंग द्वारा एसवीएम अनुकूलन समस्या का समाधान करते हैं, क्योंकि यह बाधाओं के साथ अनुकूलन कार्य कर सकता है। यदि आप ग्रेडिएंट डिसेंट या अन्य ऑप्टिमाइज़ेशन एल्गोरिदम का उपयोग करते हैं, जो हार्ड-मार्जिन एसवीएम की बाधाओं को पूरा किए बिना, आपको अभी भी एक परिणाम प्राप्त करना चाहिए, लेकिन यह हार्ड-मार्जिन एसवीएम हाइपरप्लेन नहीं है।

वैसे, गैर-रैखिक रूप से वियोज्य डेटा के साथ, आमतौर पर हम चुनते हैं

  • हार्ड-मार्जिन एसवीएम + सुविधा रूपांतरण
  • सॉफ्ट-मार्जिन एसवीएम का सीधे उपयोग करें (व्यावहारिक, सॉफ्ट-मार्जिन एसवीएम में आमतौर पर अच्छे परिणाम मिलते हैं)

आपके उत्तर के लिए धन्यवाद। इसलिए एसवीएम पैकेज जैसे आर या पायथन क्वाड्रैटिक प्रोग्रामिंग विधियों का उपयोग नहीं करते हैं जब डेटा गैर-रैखिक रूप से अलग होता है?
एसवीएम

आपके द्वारा उपयोग किए जाने वाले svm पुस्तकालयों के बारे में निश्चित नहीं है। मैं libsvm का उपयोग करता हूं और विभिन्न svm उपकरण विभिन्न svm सॉल्वरों का उपयोग कर सकते हैं। बेहतर svm solvers खोजने के लिए एक और शोध विषय है। QP svm को हल करने का मूल तरीका है।
फैंसिया
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.