गाऊसी आरबीएफ बनाम गाऊसी कर्नेल

एक गाऊसी रेडियल बेसिस फ़ंक्शन (RBF) के साथ रैखिक प्रतिगमन करने और एक गाऊसी कर्नेल के साथ रैखिक प्रतिगमन करने में क्या अंतर है?

regression normal-distribution kernel-trick

— user35965
स्रोत

साइट पर आपका स्वागत है, @ user35965। कृपया अपने योगों को वर्तनी दें। "आरबीएफ" से, क्या आपका मतलब रेडियल आधार फ़ंक्शन है ?

— गंग -

हाँ, यह मेरे कहने का मतलब है। भविष्य के संदर्भ में विधिवत उल्लेख किया गया।

— user35965

लागू होने वाले नियमितीकरण में एकमात्र वास्तविक अंतर है। एक नियमित रूप से आरबीएफ नेटवर्क आमतौर पर वेट के स्क्वैड मान के आधार पर पेनल्टी का उपयोग करता है। कर्नेल संस्करण के लिए, दंड आमतौर पर कर्नेल द्वारा प्रेरित फीचर स्पेस में निर्मित रैखिक मॉडल के भार के वर्ग मानदंड पर होता है। इसका मुख्य व्यावहारिक अंतर यह है कि RBF नेटवर्क के लिए दंड RBF नेटवर्क के केंद्रों पर निर्भर करता है (और इसलिए उपयोग किए गए डेटा के नमूने पर) जबकि RBF कर्नेल के लिए, प्रेरित सुविधा स्थान नमूना की परवाह किए बिना समान है। डेटा, इसलिए जुर्माना मॉडल के कार्य पर एक दंड है , बजाय इसके पैरामीटर पर ।

दूसरे शब्दों में, दोनों मॉडलों के लिए हमारे पास है

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

आरबीएफ नेटवर्क दृष्टिकोण के लिए, प्रशिक्षण मानदंड है

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

RBF गिरी विधि के लिए, हम है कि , और । इसका मतलब है कि प्रेरित सुविधा अंतरिक्ष में मॉडल के वजन, पर एक वर्ग के आदर्श दंड दोहरी मानकों के संदर्भ में लिखा जा सकता है, के रूप में $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

जहां सभी प्रशिक्षण पैटर्न के लिए कर्नेल के जोड़े-वार मूल्यांकन का मैटिक्स है। प्रशिक्षण की कसौटी तब है $\matrix{K}$

। $L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$

नियमितीकरण शब्द में दो मॉडलों के बीच एकमात्र अंतर है। $\matrix{K}$

कर्नेल दृष्टिकोण का मुख्य सैद्धांतिक लाभ यह है कि यह आपको एक गैर-रैखिक मॉडल की व्याख्या करने के लिए एक निश्चित गैर-रैखिक परिवर्तन के बाद रैखिक मॉडल के रूप में व्याख्या करने की अनुमति देता है जो डेटा के नमूने पर निर्भर नहीं करता है। इस प्रकार रेखीय मॉडल के लिए मौजूद कोई भी सांख्यिकीय शिक्षण सिद्धांत स्वचालित रूप से गैर-रैखिक संस्करण में स्थानांतरित हो जाता है। हालाँकि, जब आप कोशिश करते हैं और कर्नेल मापदंडों को ट्यून करते हैं, तो यह सब टूट जाता है, जिस बिंदु पर हम सैद्धांतिक रूप से उसी बिंदु पर वापस आ जाते हैं जब हम RBF (और MLP) तंत्रिका नेटवर्क के साथ थे। इसलिए सैद्धांतिक लाभ शायद उतना महान नहीं है जितना हम चाहेंगे।

क्या प्रदर्शन के मामले में कोई वास्तविक अंतर आने की संभावना है? शायद ज्यादा नहीं। "नो फ्री लंच" प्रमेयों से पता चलता है कि अन्य सभी पर किसी भी एल्गोरिथ्म की कोई प्राथमिकता-प्राथमिकता श्रेष्ठता नहीं है, और नियमितीकरण में अंतर काफी सूक्ष्म है, इसलिए यदि संदेह हो तो दोनों को आज़माएं और जैसे कि क्रॉस-वैधीकरण के अनुसार सबसे अच्छा चुनें।

— डिक्रान मार्सुपियल
स्रोत

@CagdasOzgenc हाँ, RBF के लिए regulariser है

के बजाय

के लिए कर्नेल मशीन। वे अधिक समान हो जाते हैं, क्योंकि आधार फ़ंक्शन की चौड़ाई शून्य के रूप में होती है, जैसे कि

आ जाएगा । मुझे लगता है कि यह अनिवार्य रूप से है क्योंकि

आधार कार्यों के बीच संबंध के लिए लेखांकन है।

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— डिक्रान मार्सुपियल

@CagdasOzgenc जिस तरह से मैं इसे देखता हूं वह यह है कि नियमित रूप से

प्रत्येक आधार वेक्टर के लिए दंड को अलग-अलग मापता है , और जुर्माना अन्य आधार वैक्टर के चयन पर निर्भर करता है। यह भार उनके सहसंबंधों पर निर्भर करता है, इसलिए यदि आप एक अलग नमूना लेते हैं, तो क्षतिपूर्ति करने के लिए वजन बदल जाता है। इस पर गौर करने के लिए दूसरा रास्ता है कि मॉडल के आधार पर निर्धारित एक सुविधा अंतरिक्ष में परिभाषित किया गया है है

है, जो आधार वैक्टर की पसंद (उपलब्ध कराने के वे डेटा वाली अंतरिक्ष अवधि) पर निर्भर नहीं करता।

K

$K$

ϕ (x)

$\phi(x)$

— डिक्रान मार्सुपियल

@CagdasOzgenc ज़रूर हम का एक eigen-अपघटन द्वारा आधार कार्यों की जगह बदल सकता है

और एक हासिल

वास्तव में शैली regulariser (नियमितीकरण पैरामीटर के अनुकूलन में एक उपयोगी चाल है कि - doi.org/10.1016/j .neunet.2007.05.005 )। हालांकि यह परिवर्तन आधार फ़ंक्शन की मूल पसंद की निर्भरता को समाप्त करता है। दो चीजों के बराबर होने के लिए

, जो आम तौर पर सच नहीं है (विशेष रूप से RBF कर्नेल के लिए नहीं)।

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— डिक्रान मार्सुपियल

धन्यवाद। मैं इस पर चिंतन करूंगा, आपको वापस मिल जाएगा। फिलहाल ऐसा लगता है कि मैं आपकी समझ के स्तर पर नहीं हूं। मुझे और अधिक सोचने की आवश्यकता है :)।

— कागडस ओजेंक

@CagdasOzgenc कोई समस्या नहीं है, अधिकांश मानक ग्रंथ इसे कर्नेल फ़ंक्शन के eigenfunctions के माध्यम से समझाते हैं, जिससे मेरा मस्तिष्क भी आहत होता है! ; ओ)

— डिक्रान मार्सुपियल