आरबीएफ एसवीएम के प्रभाव को कैसे समझा जाए

मैं कैसे समझ सकता हूं कि एसवीएम में आरबीएफ कर्नेल क्या करता है? मेरा मतलब है कि मैं गणित को समझता हूं, लेकिन क्या यह महसूस करने का कोई तरीका है कि यह कर्नेल कब उपयोगी होगा?

क्या KNN के परिणाम SVM / RBF से संबंधित होंगे क्योंकि RBF में सदिश दूरियाँ होती हैं?

क्या बहुपद कर्नेल के लिए एक महसूस करने का एक तरीका है? मैं उच्च आयाम को जानता हूं, यह जितना विगलेवर है। लेकिन मैं एक अंतर्ज्ञान प्राप्त करना चाहता हूं कि क्या गुठली सभी संभव गुठली की कोशिश करने के बजाय करते हैं और सबसे सफल उठाते हैं।

svm kernel-trick

— Gerenuk
स्रोत

आप संभवतः यहां मेरे एक उत्तर को देखकर शुरू कर सकते हैं:
आरबीएफ कर्नेल के साथ गैर-रैखिक एसवीएम वर्गीकरण

उस उत्तर में, मैं समझाने की कोशिश करता हूं कि कर्नेल फ़ंक्शन क्या करने का प्रयास कर रहा है। एक बार जब आप इसे करने का प्रयास करते हैं, तो एक अनुवर्ती के रूप में, आप Quora पर एक प्रश्न के मेरे उत्तर को पढ़ सकते हैं: https://www.quora.com/Machine-Learning/Why-does-the-RBF- रेडियल-आधार-समारोह-कर्नेल-नक्शा-में-अनंत आयामी अंतरिक्ष / उत्तर / अरुण-अय्यर-1

यदि आपके पास एक Quora खाता नहीं है, तो Quora पर उत्तर की सामग्री को पुन: प्रस्तुत करें।

प्रश्न: RBF (रेडियल आधार फ़ंक्शन) कर्नेल मैप को अनंत आयामी स्थान में क्यों दर्शाता है? उत्तर: विचार करें डिग्री 2 से, परिभाषित के बहुपद गिरी जहां और ।
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
जिससे कर्नेल फ़ंक्शन को , रूप में लिखा जा सकता है अब, हम एक फीचर मैप के साथ आने का प्रयास करते हैं जैसे कि कर्नेल फ़ंक्शन को लिखा जा सकता है
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ । $k(x, y) = \Phi(x)^T\Phi(y)$
निम्नलिखित विशेषता मानचित्र पर विचार करें,
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
$\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$ ।

$\mathbb{R}^n$ , तो 2 डिग्री का एक बहुपद कर्नेल अनुमानित रूप से कुछ वेक्टर स्पेस में मैप करेगा। एफ इस वेक्टर स्पेस F का आयाम क्या है? संकेत: मैंने जो कुछ भी ऊपर किया वह एक सुराग है।

अब, आरबीएफ में आ रहा है।

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$ एक अनंत वेक्टर करने के लिए। इस प्रकार, आरबीएफ अंतर्निहित रूप से हर बिंदु को अनंत आयामी स्थान पर मैप करता है।
व्यायाम प्रश्न : उपरोक्त मामले के लिए आरबीएफ के लिए फीचर मैप के पहले कुछ वेक्टर तत्व प्राप्त करें?

अब, उपरोक्त उत्तर से, हम कुछ निष्कर्ष निकाल सकते हैं:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ । इससे हम यह निर्धारित कर सकते हैं कि यह मानचित्र चतुष्कोणीय विपरीत रूप से विपरीत है अर्थात पहले और तीसरे चतुर्थांश को एक ही बिंदु पर सेट किया जाता है और दूसरे और चौथे चतुर्थांश को समान बिंदुओं पर मैप किया जाता है। इसलिए, यह कर्नेल हमें XOR समस्या को हल करने की अनुमति देता है! सामान्य तौर पर, हालांकि, बहुआयामी स्थानों के लिए इस तरह के व्यवहार की भविष्यवाणी करना कठिन हो सकता है। और यह आरबीएफ गुठली के मामले में कठिन हो जाता है।

— TenaliRaman
स्रोत