96

कई मशीन लर्निंग क्लासीफायर (जैसे वेक्टर मशीनों का समर्थन) एक कर्नेल को निर्दिष्ट करने की अनुमति देते हैं। यह समझाने का एक सहज तरीका क्या होगा कि एक कर्नेल क्या है?

एक पहलू जिसके बारे में मैं सोच रहा हूं वह है रैखिक और गैर-रेखीय गुठली के बीच का अंतर। सरल शब्दों में, मैं 'रैखिक निर्णय कार्यों' को 'गैर-रैखिक निर्णय कार्यों' के बारे में बता सकता हूँ। हालांकि, मुझे यकीन नहीं है कि कर्नेल को 'निर्णय कार्य' कहना एक अच्छा विचार है।

सुझाव?

— हैश कुंजी
स्रोत

112

कर्नेल दो वैक्टर $\mathbf x$ और के डॉट उत्पाद की गणना करने का एक तरीका $\mathbf y$ है, जिसमें कुछ (संभवतः बहुत ही उच्च आयामी) फ़ीचर स्थान है, यही वजह है कि कर्नेल फ़ंक्शन को कभी-कभी "सामान्यीकृत डॉट उत्पाद" कहा जाता है।

मान लीजिए हमारे पास एक मैपिंग कि में हमारे वैक्टर लाता कुछ सुविधा अंतरिक्ष के लिए । तब से डॉट उत्पाद और इस क्षेत्र में है। एक कर्नेल एक समारोह हैहै कि इस बिंदु गुणनफल से मेल खाती है, यानी। $\varphi \, : \, \mathbb R^n \to \mathbb R^m$ $\mathbb R^n$ $\mathbb R^m$ $\mathbf x$ $\mathbf y$ $\varphi(\mathbf x)^T \varphi(\mathbf y)$ $k$ $k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

यह क्यों उपयोगी है? कर्नेल कुछ फीचर स्पेस में डॉट प्रोडक्ट्स की गणना करने का एक तरीका देता है बिना यह जाने कि यह स्पेस क्या है और क्या है । $\varphi$

उदाहरण के लिए, एक साधारण बहुपद गिरी पर विचार के साथ । यह किसी भी मानचित्रण समारोह के अनुरूप प्रतीत नहीं होता है , यह सिर्फ एक समारोह है कि एक वास्तविक संख्या देता है। मान लें कि और , इस अभिव्यक्ति का विस्तार करें: $k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2$ $\mathbf x, \mathbf y \in \mathbb R^2$ $\varphi$ $\mathbf x = (x_1, x_2)$ $\mathbf y = (y_1, y_2)$

$\begin{align} k(\mathbf x, \mathbf y) & = (1 + \mathbf x^T \mathbf y)^2 = (1 + x_1 \, y_1 + x_2 \, y_2)^2 = \\ & = 1 + x_1^2 y_1^2 + x_2^2 y_2^2 + 2 x_1 y_1 + 2 x_2 y_2 + 2 x_1 x_2 y_1 y_2 \end{align}$

ध्यान दें कि यह दो वैक्टर ) के अलावा और कुछ नहीं हैऔर $(1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$ , और $(1, y_1^2, y_2^2, \sqrt{2} y_1, \sqrt{2} y_2, \sqrt{2} y_1 y_2)$ । तो गिरीस्पष्ट रूप से इस स्थान पर न जाना 6 आयामी अंतरिक्ष में एक डॉट उत्पाद गणना करता है। $\varphi(\mathbf x) = \varphi(x_1, x_2) = (1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$ $k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2 = \varphi(\mathbf x)^T \varphi(\mathbf y)$

। हम इस समारोह टेलर-विस्तार है, तो हम है कि यह की एक अनंत आयामी codomain से मेल खाती है देखेंगे । $k(\mathbf x, \mathbf y) = \exp\big(- \gamma \, \|\mathbf x - \mathbf y\|^2 \big)$ $\varphi$

अंत में, मैं एक ऑनलाइन पाठ्यक्रम "डेटा से सीखना" को प्रोफेसर यासर अबू-मोस्तफा द्वारा कर्नेल-आधारित विधियों के अच्छे परिचय के रूप में सुझाता हूँ। विशेष रूप से, व्याख्यान "सपोर्ट वेक्टर मशीन" , "कर्नेल मेथड्स" और "रेडियल बेसिस फ़ंक्शंस" गुठली के बारे में हैं।

— एलेक्सी ग्रिगोरव
स्रोत

2

वर्तमान टैग की परिभाषा: "सहज ज्ञान युक्त: प्रश्न जो आँकड़ों की एक वैचारिक या गैर-गणितीय समझ चाहते हैं।" कोई स्पष्ट संकेत नहीं कि क्या वैचारिक को गैर-गणितीय के पर्याय के रूप में माना जाता है।

— रोलैंडो 2

40

गुठली (एसवीएम के लिए कम से कम) के बारे में सोचने का एक बहुत ही सरल और सहज तरीका एक समानता कार्य है। दो वस्तुओं को देखते हुए, कर्नेल कुछ समानता स्कोर का उत्पादन करता है। ऑब्जेक्ट दो पूर्णांक, दो वास्तविक मूल्यवान वैक्टर, पेड़ों से शुरू होने वाले कुछ भी हो सकते हैं, बशर्ते कि कर्नेल फ़ंक्शन जानता है कि उनकी तुलना कैसे की जाए।

यकीनन सबसे सरल उदाहरण रैखिक कर्नेल है, जिसे डॉट-उत्पाद भी कहा जाता है। दो वैक्टरों को देखते हुए, समानता दूसरे पर एक वेक्टर के प्रक्षेपण की लंबाई है।

$\sigma$

कर्नेल के साथ सीखने की सफलता (फिर, कम से कम एसवीएम के लिए), बहुत दृढ़ता से कर्नेल की पसंद पर निर्भर करती है। आप अपनी वर्गीकरण समस्या के बारे में ज्ञान के एक कॉम्पैक्ट प्रतिनिधित्व के रूप में एक कर्नेल देख सकते हैं। यह अक्सर विशिष्ट समस्या है।

$\alpha$ $\alpha$

— व्लादिस्लाव डोवगलकेस
स्रोत

डॉट उत्पाद और प्रक्षेपण काफी समान नहीं हैं।

— ttnphns

एसवीएम के मामले में, मेरा मानना है कि गुठली विभिन्न स्थानों में दूरी के उपाय हैं। यह इस विचार के साथ है कि एक एसवीएम एक वेक्टर वेक्टर का समर्थन करता है। सामान्य तौर पर, गुठली अधिक जटिल हो सकती है।

— एग्नेसेंस्की

29

अंतर्ज्ञान में मदद करने के लिए एक दृश्य उदाहरण

निम्नलिखित डेटासेट पर विचार करें जहां पीले और नीले बिंदु स्पष्ट रूप से दो आयामों में रैखिक रूप से अलग नहीं हैं।

यदि हम एक उच्च आयामी स्थान पा सकते हैं जिसमें ये बिंदु रैखिक रूप से अलग होते हैं , तो हम निम्नलिखित कर सकते हैं:

मूल सुविधाओं को उच्च, ट्रांसफ़ॉर्मर स्पेस (फ़ीचर मैपिंग) में मैप करें
इस उच्च स्थान में रैखिक SVM का प्रदर्शन करें
निर्णय सीमा हाइपरप्लेन से संबंधित भार का एक सेट प्राप्त करें
एक गैर रेखीय निर्णय सीमा प्राप्त करने के लिए इस हाइपरप्लेन को मूल 2 डी स्पेस में वापस मैप करें

कई उच्च आयामी रिक्त स्थान हैं जिनमें ये बिंदु रैखिक रूप से वियोज्य हैं। यहाँ एक उदाहरण है

x_{1}, x_{2} :\to z_{1}, z_{2}, z_{3}

$x_1, x_2 : \rightarrow z_1, z_2, z_3$

z_{1} = \sqrt{2} x_{1} x_{2} z_{2} = x_{1}^{2} z_{3} = x_{2}^{2}

$z_1 = \sqrt{2}x_1x_2 \ \ z_2 = x_1^2 \ \ z_3 = x_2^2$

यह वह जगह है जहाँ कर्नेल चाल चलन में आती है। उपरोक्त महान उत्तरों का हवाला देते हुए

मान लीजिए हमारे पास एक मैपिंग $\varphi \, : \, \mathbb R^n \to \mathbb R^m$ $\mathbb R^n$ $\mathbb R^m$ $\mathbf x$ $\mathbf y$ $\varphi(\mathbf x)^T \varphi(\mathbf y)$ $k$ $k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

यदि हमें एक कर्नेल फ़ंक्शन मिल सकता है जो उपरोक्त फीचर मैप के बराबर था, तो हम कर्नेल फ़ंक्शन को रैखिक SVM में प्लग कर सकते हैं और गणना को बहुत कुशलता से कर सकते हैं।

बहुपद कर्नेल

$K(\mathbf{x},\mathbf{x'}) = (\mathbf{x}^T\mathbf{x'})^d$ $d = 2$ $\mathbf{x} = (x_1, x_2)^T$

\begin{aligned} k ((\begin{matrix} x_{1} \\ x_{2} \end{matrix}), (\begin{matrix} x_{1}^{'} \\ x_{2}^{'} \end{matrix})) & = (x_{1} x_{2}^{'} + x_{2} x_{2}^{'})^{2} \\ = 2 x_{1} x_{1}^{'} x_{2} x_{2}^{'} + (x_{1} x_{1}^{'})^{2} + (x_{2} x_{2}^{'})^{2} \\ = (\sqrt{2} x_{1} x_{2} x_{1}^{2} x_{2}^{2}) (\begin{matrix} \sqrt{2} x_{1}^{'} x_{2}^{'} \\ x_{1}^{' 2} \\ x_{2}^{' 2} \end{matrix}) \end{aligned}

$\begin{aligned} k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) & = (x_1x_2' + x_2x_2')^2 \\ & = 2x_1x_1'x_2x_2' + (x_1x_1')^2 + (x_2x_2')^2 \\ & = (\sqrt{2}x_1x_2 \ x_1^2 \ x_2^2) \ \begin{pmatrix} \sqrt{2}x_1'x_2' \\ x_1'^2 \\ x_2'^2 \end{pmatrix} \end{aligned}$

k ((\begin{matrix} x_{1} \\ x_{2} \end{matrix}), (\begin{matrix} x_{1}^{'} \\ x_{2}^{'} \end{matrix})) = ϕ (x)^{T} ϕ (x^{'})

$k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) = \phi(\mathbf{x})^T \phi(\mathbf{x'})$

ϕ ((\begin{matrix} x_{1} \\ x_{2} \end{matrix})) = (\begin{matrix} \sqrt{2} x_{1} x_{2} \\ x_{1}^{2} \\ x_{2}^{2} \end{matrix})

$\phi(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}) =\begin{pmatrix} \sqrt{2}x_1x_2 \\ x_1^2 \\ x_2^2 \end{pmatrix}$

फ़ीचर मैप और परिणामी सीमा रेखा को विज़ुअलाइज़ करना

बाएं हाथ की ओर का प्लॉट एसवीएम लीनियर बाउंड्री हाइपर प्लेन के साथ बदले हुए स्थान में प्लॉट किए गए बिंदुओं को दर्शाता है
राइट हैंड साइड प्लॉट मूल 2-डी स्पेस में परिणाम दिखाता है

स्रोत

पूर्ण पोस्ट और अजगर कोड यहाँ
https://disi.unitn.it/~passerini/teaching/2014-2015/MachineLearning/slides/17_kernel_machines/handouts.pdf

— जेवियर बॉरेट सिस्कोट
स्रोत

4

बहुत ही सरल (लेकिन सही) एक कर्नेल डेटा के दो अनुक्रमों के बीच एक वजन कारक है । यह वजन कारक एक " डेटा बिंदु " पर एक " समय बिंदु " पर अन्य " डेटा बिंदु " की तुलना में अधिक वजन असाइन कर सकता है, या समान वजन असाइन कर सकता है या अन्य " डेटा बिंदु " और इतने पर अधिक वजन असाइन कर सकता है।

इस तरह से सहसंबंध ( डॉट उत्पाद ) दूसरों की तुलना में कुछ बिंदुओं पर अधिक "महत्व" प्रदान कर सकता है और इस तरह गैर-रैखिकता (जैसे गैर-फ्लैट स्थान ), अतिरिक्त जानकारी, डेटा चौरसाई और इतने पर सामना कर सकता है।

अभी भी एक अन्य तरीके से एक कर्नेल दो डेटा अनुक्रमों के सापेक्ष आयामों (या आयाम इकाइयों ) को बदलने का एक तरीका है , ताकि ऊपर बताई गई चीजों के साथ सामना किया जा सके।

एक तीसरे तरीके (पिछले दो से संबंधित) में, एक कर्नेल एक डेटा अनुक्रम में दूसरे पर 1-से-1 तरीके से नक्शा या प्रोजेक्ट करने का एक तरीका है जो दी गई जानकारी या मानदंड को ध्यान में रखता है (जैसे घुमावदार स्थान, लापता डेटा, डेटा फिर से आदेश देना वगैरह)। उदाहरण के लिए किसी दिए गए गिरी सकता है खिंचाव या हटना या फसल या मोड़ आदेश फिट या नक्शा 1 से 1 दूसरे पर करने के लिए एक डेटा अनुक्रम।

एक कर्नेल एक Procrustes की तरह कार्य कर सकता है ताकि " सबसे अच्छा फिट " हो सके

— निकोस एम।
स्रोत

मुझे लगता है कि आप कर्नेल घनत्व आकलन के अर्थ में गुठली के बारे में बात कर रहे होंगे, एसवीएम और संबंधित तरीकों में उपयोग किए जाने वाले सकारात्मक-अर्धचालक मर्जर गुठली नहीं।

— डगल

@ डगल, इस उत्तर के अर्थ में कर्नेल एक वज़न कार्य या माप है जिसका उपयोग किसी विशिष्ट तरीके से डेटा को सहसंबंधित करने या कुछ डेटा सुविधाओं का दोहन करने के लिए किया जाता है, इसलिए SVM कर्नेल विधियाँ भी कवर की जाती हैं

— निकोस एम।

कैसे स्पष्ट रूप से समझाने के लिए कि एक गिरी क्या है?

अंतर्ज्ञान में मदद करने के लिए एक दृश्य उदाहरण

बहुपद कर्नेल

फ़ीचर मैप और परिणामी सीमा रेखा को विज़ुअलाइज़ करना

स्रोत