एक एसवीएम और एक अवधारणात्मक के बीच अंतर

29

मैं एक एसवीएम और एक अवधारणात्मक के बीच के अंतर से थोड़ा भ्रमित हूं। मुझे यहाँ अपनी समझ को संक्षेप में प्रस्तुत करने का प्रयास करें, और कृपया यह महसूस करने के लिए स्वतंत्र महसूस करें कि मैं कहाँ गलत हूँ और जो मैंने याद किया है उसे भरें।

परसेप्ट्रॉन अलगाव "दूरी" को अनुकूलित करने का प्रयास नहीं करता है। जब तक यह एक हाइपरप्लेन पाता है जो दो सेटों को अलग करता है, यह अच्छा है। दूसरी ओर एसवीएम "सपोर्ट वेक्टर" को अधिकतम करने की कोशिश करता है, अर्थात, दो निकटतम विपरीत नमूना बिंदुओं के बीच की दूरी।
एसवीएम आम तौर पर एक "कर्नेल फ़ंक्शन" का उपयोग करने के लिए नमूना बिंदुओं को उच्च आयाम वाले स्थान पर प्रोजेक्ट करने के लिए उन्हें रैखिक रूप से अलग करने योग्य बनाता है, जबकि नमूना बिंदु मानता है कि रैखिक बिंदुओं को रैखिक रूप से अलग किया जा सकता है।

machine-learning svm kernel-trick

— प्रतिशोध
स्रोत

एसवीएम और लॉजिस्टिक प्रतिगमन

— kjetil b halvorsen

18

यह मुझे सही लगता है। लोग कभी-कभी क्लासिफायर के साथ प्रशिक्षण एल्गोरिथ्म को संदर्भित करने के लिए "परसेप्ट्रॉन" शब्द का भी उपयोग करते हैं। उदाहरण के लिए, किसी ने मुझे इस प्रश्न के उत्तर में समझाया । इसके अलावा, पर्सेट्रॉन के साथ कर्नेल का उपयोग करने से आपको रोकने के लिए कुछ भी नहीं है, और यह अक्सर एक बेहतर क्लासिफायरियर है। कर्नेल परसेप्ट्रोन को लागू करने के तरीके के बारे में कुछ स्लाइड्स (पीडीएफ) के लिए यहाँ देखें ।

एक (कर्नेल) पेरीसेप्ट्रॉन और एसवीएम के बीच प्रमुख व्यावहारिक अंतर यह है कि पेरासेप्ट्रॉन को ऑनलाइन प्रशिक्षित किया जा सकता है (यानी उनके वजन को अपडेट किया जा सकता है क्योंकि नए उदाहरण एक समय में एक पहुंचते हैं) जबकि एसवीएम नहीं हो सकते। एसवीएम को ऑनलाइन प्रशिक्षित किया जा सकता है या नहीं इसकी जानकारी के लिए यह प्रश्न देखें । इसलिए, भले ही एक एसवीएम आमतौर पर एक बेहतर क्लासिफायरियर है, परसेप्ट्रोन अभी भी उपयोगी हो सकते हैं, क्योंकि वे सस्ते और आसानी से एक ऐसी स्थिति में फिर से प्रशिक्षित करने के लिए आसान होते हैं जिसमें ताजा प्रशिक्षण डेटा लगातार आ रहा है।

— Flounderer
स्रोत

3

एसवीएम को ऑनलाइन प्रशिक्षित किया जा सकता है। एक दोहरे समाधान से आप संगत प्राण प्राप्त कर सकते हैं और इसमें से आप स्टोचैस्टिक फैशन में भार अपडेट करते हैं।

— फायरबग

1

jmlr.org/papers/volume6/bordes05a/bordes05a.pdf

— sinθ

4

SVM: Perceptron

min ‖ w ‖_{2} + C \sum_{i = 1}^{n} (1 - y_{i} (w x_{i} + w_{0}))_{+}

$\min \|w\|_2 + C\sum_{i = 1}^{n}(1 - y_i(wx_i + w_0))_+$

min \sum_{i = 1}^{n} (- y_{i} (w x_{i} + w_{0}))_{+}

$\min \sum_{i = 1}^{n}(- y_i(wx_i + w_0))_+$

हम देख सकते हैं कि एसवीएम का एल 2-नियमित परिधि के समान लक्ष्य है।

चूंकि उद्देश्य अलग है, इसलिए हमारे पास इन दोनों एल्गोरिदम के लिए अलग-अलग अनुकूलन योजनाएँ भी हैं, , हम देखते हैं कि यह SVM को अनुकूलित करने के लिए द्विघात प्रोग्रामिंग का उपयोग करने का प्रमुख कारण है। $\|w\|_2$

अवधारणात्मक ऑनलाइन अपडेट की अनुमति क्यों देता है? यदि आपको हिंग लॉस के लिए ढाल वंशानुक्रम अद्यतन नियम दिखाई देता है (हिंग लॉस एसवीएम और पेसेप्ट्रॉन दोनों द्वारा उपयोग किया जाता है),

w^{t} = w^{t - 1} + η \frac{1}{N} \sum_{i = 1}^{N} y^{i} x^{i} I (y^{i} w^{t} x^{i} \leq 0)

$w^t = w^{t-1} + \eta\frac{1}{N}\sum_{i = 1}^{N}y^ix^i\mathbb{I}(y^iw^tx^i \leq 0)$

चूंकि सभी मशीन लर्निंग एल्गोरिदम को नुकसान फ़ंक्शन और अनुकूलन एल्गोरिथ्म के संयोजन के रूप में देखा जा सकता है।

परसेप्ट्रॉन, हिंज लॉस (हानि समारोह) + स्टोचैस्टिक ग्रेडिएंट डिसेंट (ऑप्टिमाइज़ेशन) से अधिक नहीं है

w^{t} = w^{t - 1} + y^{y + 1} x^{t + 1} I (y^{t + 1} w^{t} x^{t + 1} \leq 0)

$w^t = w^{t-1} + y^{y+1}x^{t+1}\mathbb{I}(y^{t+1}w^{t}x^{t+1} \leq 0)$

और एसवीएम को काज हानि + एल 2 नियमितीकरण (हानि + नियमितीकरण) + द्विघात प्रोग्रामिंग या अन्य कट्टरपंथी एल्गोरिदम एसएमओ (अनुकूलन) के रूप में देखा जा सकता है।

— xxx222
स्रोत

-1

पेरेसेप्ट्रॉन एसवीएम का सामान्यीकरण है जहां एसवीएम इष्टतम स्थिरता वाला पेसेप्ट्रॉन है। तो आप सही हैं जब आप कहते हैं कि अवधारणात्मक पृथक्करण दूरी को अनुकूलित करने का प्रयास नहीं करता है।

— भारद्वाज आलदुर
स्रोत