वेक्टर रिग्रेशन का समर्थन सहज तरीके से कैसे करता है?

Question

एसवीएम के सभी उदाहरण वर्गीकरण से संबंधित हैं। मुझे समझ में नहीं आता है कि प्रतिगमन के लिए एक एसवीएम (सपोर्ट वेक्टर रेजिस्टर) का उपयोग प्रतिगमन में कैसे किया जा सकता है।

मेरी समझ से, एक एसवीएम अधिकतम हाइपरप्लेन को खोजने के लिए दो वर्गों के बीच के अंतर को अधिकतम करता है। यह संभवतः एक प्रतिगमन समस्या में कैसे काम करेगा?

Answer 1

संक्षेप में: मार्जिन को अधिकतम करना आमतौर पर को कम करके समाधान को नियमित करने के रूप में देखा जा सकता है $w$(जो अनिवार्य रूप से मॉडल जटिलता को कम कर रहा है) यह वर्गीकरण और प्रतिगमन दोनों में किया जाता है। लेकिन वर्गीकरण के मामले में यह न्यूनतम शर्त के तहत किया जाता है कि सभी उदाहरण शर्त यह है कि मूल्य के तहत सही ढंग से और प्रतिगमन के मामले में वर्गीकृत किया जाता है $y$ सभी उदाहरण के आवश्यक सटीकता की तुलना में कम भटक $\epsilon$ से $f(x)$ प्रतिगमन के लिए।

---

यह समझने के लिए कि आप वर्गीकरण से प्रतिगमन तक कैसे जाते हैं यह देखने में मदद करता है कि कैसे दोनों मामले एक ही एसवीएम सिद्धांत को लागू करते हैं जो समस्या को उत्तल अनुकूलन समस्या के रूप में प्रस्तुत करता है। मैं दोनों को साथ-साथ रखने की कोशिश करूँगा।

(मैं ढीला चर कि सटीकता ऊपर misclassifications और विचलन के लिए अनुमति पर ध्यान नहीं देंगे )$\epsilon$

वर्गीकरण

इस मामले में लक्ष्य एक समारोह को मिल रहा है जहां च ( एक्स ) ≥ 1 सकारात्मक उदाहरण और के लिए च ( एक्स ) ≤ - 1 नकारात्मक उदाहरण के लिए। इन शर्तों के तहत हम मार्जिन को अधिकतम करना चाहते हैं (2 लाल सलाखों के बीच की दूरी) जो कि एफ । = W के व्युत्पन्न को कम करने से ज्यादा कुछ नहीं है ।$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

मार्जिन को अधिकतम करने के पीछे अंतर्ज्ञान यह है कि इससे हमें खोजने की समस्या का एक अनूठा समाधान मिलेगा (यानी हम उदाहरण के लिए नीली रेखा को त्यागते हैं) और यह भी कि यह समाधान इन परिस्थितियों में सबसे सामान्य है, अर्थात यह कार्य करता है एक नियमितीकरण के रूप में । इसे निर्णय सीमा (जहां लाल और काली रेखाएं पार करती हैं) के आसपास देखा जा सकता है, वर्गीकरण अनिश्चितता सबसे बड़ी है और इस क्षेत्र में f ( x ) के लिए सबसे कम मूल्य चुनने से सबसे सामान्य समाधान निकलेगा।$f(x)$$f(x)$

$f(x) \geq 1$$f(x) \leq -1$

वापसी

इस मामले में लक्ष्य एक समारोह को मिल रहा है (लाल रेखा) के तहत शर्त यह है कि च ( एक्स ) एक आवश्यक सटीकता के भीतर है ε मूल्य मूल्य से y ( एक्स ) (काले बार) की हर डेटा बिंदु, यानी | y ( x ) - f ( x ) | ≤ ε जहां ई पी एस मैं एल ओ $f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$लाल और ग्रे लाइन के बीच की दूरी है। इस शर्त के तहत हम फिर से कम करना चाहते फिर से नियमित होने की कारण के लिए, और उत्तल अनुकूलन समस्या के परिणाम के रूप में एक अनूठा समाधान प्राप्त करने के लिए। कोई यह देख सकता है कि w को कम करने का परिणाम सामान्य स्थिति में कैसे होता है क्योंकि w = 0 के चरम मान का मतलब यह नहीं होता है कि डेटा से कोई भी सबसे सामान्य परिणाम हो सकता है।$f'(x)=w$$w$$w=0$

$|y -f(x)|\leq \epsilon$

निष्कर्ष

दोनों मामलों में निम्नलिखित समस्या होती है:

$$\text{min} \frac{1}{2}w^2$$

इस शर्त के तहत कि:

• सभी उदाहरणों को सही ढंग से वर्गीकृत किया गया है (वर्गीकरण)
• $y$$\epsilon$$f(x)$

Answer 2

एसवीएम में वर्गीकरण समस्या के लिए हम वास्तव में वर्ग को अलग करने की रेखा (हाइपरप्लेन) से अलग करने की कोशिश करते हैं और लॉजिस्टिक रिग्रेशन के विपरीत, हम हाइपरप्लेन के दोनों किनारों से सुरक्षा सीमा बनाते हैं (लॉजिस्टिक रिग्रेशन और एसवीएम वर्गीकरण के बीच अलग है) लॉस फंकशन)। आखिरकार, हाइपरप्लेन से जहां तक ​​संभव हो अलग-अलग डेटा बिंदुओं का होना।

प्रतिगमन समस्या के लिए एसवीएम में, हम भविष्य के लिए एक मात्रा का अनुमान लगाने के लिए एक मॉडल फिट करना चाहते हैं। इसलिए, हम चाहते हैं कि डेटा पॉइंट (अवलोकन) वर्गीकरण के लिए एसवीएम के विपरीत हाइपरप्लेन के जितना करीब हो सके। एसवीएम रिग्रेशन सिंपल रिग्रेशन जैसे (साधारण लेस्टर स्क्वायर) से इस अंतर से विरासत में मिला है कि हम हाइपरप्लेन के दोनों तरफ से एप्सिलॉन रेंज को परिभाषित करते हैं ताकि रिग्रेशन फंक्शन को एसवीएम के विपरीत त्रुटि के लिए वर्गीकरण के लिए असंवेदनशील बनाया जा सके कि हम एक सीमा को सुरक्षित बनाने के लिए परिभाषित करते हैं। भविष्य का निर्णय (भविष्यवाणी)। अंत में,