Backpropagation के माध्यम से एक SVM को कैसे प्रशिक्षित करें?

11

मैं सोच रहा था कि क्या बैकप्रॉपैगैशन का उपयोग करके एक एसवीएम (एक रैखिक कहो, चीजों को आसान बनाने के लिए) को प्रशिक्षित करना संभव था?

वर्तमान में, मैं एक रोड ब्लॉक में हूं, क्योंकि मैं केवल क्लासिफायर के आउटपुट को लिखने के बारे में सोच सकता हूं

f (x; θ, b) = sgn (θ \cdot x - (b + 1)) = sgn (g (x; θ, b))

$f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b))$

इसलिए, जब हम "बैकवर्ड पास" (प्रचारित त्रुटि) की कोशिश करते हैं और गणना करते हैं, तो हम के बाद से व्युत्पन्न is

\begin{aligned} \frac{\partial E}{\partial x} & = \frac{\partial E}{\partial f (x; θ, b)} \frac{\partial f (x; θ, b)}{x} \\ = \frac{\partial E}{\partial f (x; θ, b)} \frac{\partial sgn (g (x; θ, b))}{\partial g (x; θ, b)} \frac{\partial g (x; θ, b)}{\partial x} \\ = δ \frac{d sgn (z)}{d z} θ \\ = δ \cdot 0 \cdot θ \\ = 0 \end{aligned}

$\begin{align} \frac{\partial E}{\partial \mathbf{x}} &= \frac{\partial E}{\partial f(\mathbf{x};\theta,b)} \frac{\partial f(\mathbf{x};\theta,b)}{\mathbf{x}} \\ &= \frac{\partial E}{\partial f(\mathbf{x};\theta,b)} \frac{\partial \text{sgn}(g(\mathbf{x};\theta,b))}{\partial g(\mathbf{x};\theta,b)} \frac{\partial g(\mathbf{x};\theta,b)}{\partial \mathbf{x}} \\ &= \delta \, \frac{d \text{sgn}(z)}{dz} \, \theta \\ &= \delta \cdot 0 \cdot \theta \\ &= \mathbf{0} \end{align}$

sgn (x)

$\text{sgn}(x)$

\frac{d sgn (x)}{d x} = {\begin{cases} 0 & if x \neq 0 \\ 2 δ (x) & if x = 0 \end{cases}

$\frac{d\text{sgn}(x)}{dx} = \begin{cases} 0 &\text{if $x \neq 0$}\\ 2\delta(x) &\text{if $x=0$} \end{cases}$

इसी तरह, हम पाते हैं कि , जिसका अर्थ है कि हम किसी भी जानकारी को वापस नहीं कर सकते हैं, या धीरे-धीरे अपडेट कर सकते हैं! $\partial E/\partial \theta = \partial E /\partial b = 0$

क्या देता है?

— StevieP
स्रोत

14

आप सही हैं कि यदि आप प्रशिक्षण के मामलों पर SVM की सटीकता को सीधे अनुकूलित करने का प्रयास करते हैं, जिसे 0-1 नुकसान भी कहा जाता है, तो ढाल गायब हो जाता है। यही कारण है कि लोग ऐसा नहीं करते हैं। :)

हालांकि आप जो करने की कोशिश कर रहे हैं, वह वास्तव में अभी तक एसवीएम नहीं है; बल्कि यह सिर्फ एक सामान्य रैखिक क्लासिफायरियर है। एक एसवीएम विशेष रूप से तब उत्पन्न होता है जब आप 0-1 नुकसान फ़ंक्शन को हिंग नुकसान के रूप में जाना जाने वाले उत्तल सरोगेट से प्रतिस्थापित करते हैं ; यह मार्जिन अधिकतमकरण के विचार की मात्रा है जो एक SVM के विचार के लिए मुख्य है। यह नुकसान फ़ंक्शन (लगभग) भिन्न है; एकमात्र मुद्दा यह है कि अगर कोई आउटपुट हिंग पॉइंट पर है, जो (ए) सबसे उचित मान्यताओं के तहत संभावना शून्य के साथ होता है और (बी) तो आप व्युत्पन्न (या बीच में कुछ भी) के रूप में 0 या 1 का उपयोग कर सकते हैं, जो मामला आप तकनीकी रूप से अवचेतन वंश कर रहे हैं।

चूंकि आप बैकप्रॉपैगैशन के बारे में बात कर रहे हैं, इसलिए मैं मान लूंगा कि आप कम से कम न्यूरल नेटवर्क के अनुकूलन से परिचित हैं। यही समस्या तंत्रिका नेटवर्क क्लासिफायर के साथ भी होती है; यही कारण है कि लोग अन्य नुकसान कार्यों का भी उपयोग करते हैं।

— Dougal
स्रोत

इसलिए अगर मैं आपको सही तरीके से समझता हूं, तो आप वास्तव में कह रहे हैं कि एक रैखिक SVM को 1-परत NN के बारे में सोचा जा सकता है - एकल परत सिर्फ एक रैखिक परिवर्तन है, - काज हानि के साथ समारोह?

A x + b

$A \mathbf{x} + b$

— स्टेविप

1

हां, एक रैखिक एसवीएम मूल रूप से आउटपुट नोड पर रैखिक सक्रियण के साथ 1-परत एनएन के बराबर है और टिका नुकसान के माध्यम से प्रशिक्षित किया गया है।

— डगल २

5

यदि आप केवल रैखिक मामले में रुचि रखते हैं तो लॉजिस्टिक रिग्रेशन (LR) एक बेहतर विकल्प है, क्योंकि यह उत्तल और विश्लेषणात्मक दोनों है (यदि आप नियमितीकरण में रुचि रखते हैं तो आप इसे रिज करना चाह सकते हैं)। लेकिन जब आप गैर-रेखीय के लिए जाते हैं, तो यह वह जगह है जहाँ मुश्किल हिस्सा तस्वीर में आता है। गैर रेखीय मामलों के लिए, उत्तल और विश्लेषणात्मक दोनों चीजों को रखने का कोई उचित तरीका नहीं है, आपको दो में से एक का बलिदान करने की आवश्यकता होगी। तंत्रिका जाल में आप उत्तलता का त्याग करते हैं और svms में आप होलोमोर्फिज्म का त्याग करते हैं।

सख्ती से बोलना LR और SVM में कोई अंतर नहीं है, svms सिर्फ इस बात की भविष्यवाणी करते हैं कि किस बिंदु पर रेखा है, LRs यह भी ध्यान में रखता है कि वे सीमा से कितनी दूर हैं (सीमा-मार्जिन रेखा पर सिग्मॉइड आपको संभाव्यता 0.5 देता है LR के मामले में)। एसवीएम को यह समझौता करने के लिए मजबूर किया जाता है क्योंकि गैर रेखीय गुठली के लिए एक घुमावदार-हाइपरप्लेन (बीजगणितीय विविधता एक बेहतर शब्द है) से दूरी का अंतर्ज्ञान रैखिक मामले में समान नहीं है, वास्तव में एक उच्च सतह से कम दूरी को हल करने की समस्या। एक विशिष्ट बिंदु के लिए बहुत मुश्किल है (SVM स्वयं की तुलना में कठिन), लेकिन दूसरी ओर Vapnik को केवल इस बात का एहसास हुआ कि O (1) समय में सीमा के किस बिंदु पर झूठ बहुत आसान है। यह एसवीएम के पीछे की सच्ची अंतर्दृष्टि है, जो इसे सांख्यिकीय शिक्षण सिद्धांत में एकमात्र उपलब्ध उत्तल अनुकूलन विकल्प बनाता है। लेकिन मेरी भावना यह है कि आप थोड़ा बहुत त्याग करते हैं, दोनों में होल्मोर्फिज्म और संभावनावादी प्रकृति खो जाती है। लेकिन जमीन-ट्रुटिंग एसवीएम जैसे विशिष्ट मामलों के लिए बहुत विश्वसनीय हैं और इसके गैर-उत्तल विकल्पों के विपरीत पूरी तरह से गलत वैज्ञानिक मॉडल भी हैं।

Tldr: हाँ, औसत मूल्य प्रमेय गैर विश्लेषणात्मक कार्यों के लिए बचाव के लिए आता है। उत्तल-गैर विश्लेषणात्मक मामलों में औसत मूल्य थोरम एक असमानता में बदल जाता है जो उप-ग्रेडिएंट पर कुछ सीमा शर्तों का उपयोग करता है जो एक उप ग्रेडिएंट सभ्य करने के लिए

— फ्रेंक डर्नोनकोर्ट
स्रोत

1

LR का आपके लिए क्या मतलब है?

— साइकोरैक्स

@ साइकोरेक्स लॉजिस्टिक रिग्रेशन

— फ्रेंक डर्नोनकोर्ट