क्या पीसीए के लिए गॉसियन कर्नेल इतना जादुई बनाता है, और सामान्य तौर पर भी?

67

मैं गॉसियन और बहुपद गुठली के साथ कर्नेल पीसीए ( 1 , 2 , 3 ) के बारे में पढ़ रहा था ।

गाऊसी कर्नेल अलग-अलग किसी भी प्रकार के गैर-डेटा डेटा को असाधारण रूप से अच्छी तरह से अलग कैसे करता है? कृपया एक सहज ज्ञान युक्त विश्लेषण दें, साथ ही यदि संभव हो तो गणितीय रूप से इसमें शामिल हों।
गाऊसी कर्नेल की संपत्ति (आदर्श के साथ क्या है $\sigma$ ) अन्य कर्नेल की जरूरत नहीं है कि? तंत्रिका नेटवर्क, एसवीएम और आरबीएफ नेटवर्क दिमाग में आते हैं।
क्यों, हम एक Cauchy पीडीएफ के माध्यम से आदर्श नहीं कहते हैं, और एक ही परिणाम की उम्मीद है?

— साइमन कुआंग
स्रोत

1

+1। उत्कृष्ट प्रश्न जो मैंने लगभग अनदेखा कर दिया था, क्योंकि इसमें [pca] टैग नहीं था! अब संपादित किया गया।

— अमीबा का कहना है कि

4

अच्छा प्रश्न। मुझे आश्चर्य है कि अगर उत्तर "ओह हाँ, हो सकता है कि कई अन्य कर्नेल भी ठीक काम करेंगे लेकिन गाऊसी अच्छी तरह से ज्ञात / आसान है"

— स्टम्पी जो पीट

@StumpyJoePete मुझे नहीं लगता कि ऐसा कोई तुच्छ जवाब है। अन्य वितरण का स्थान पैरामीटर भी इसका मतलब क्या है? अन्य वितरण का पैमाना पैरामीटर भी इसका भिन्नता है? क्या अन्य वितरण इतना सार्वभौमिक सहज है? निश्चित रूप से नहीं कॉची वितरण - यह भी नहीं करता है एक मतलब!

— छायाकार

3

@ssdecontrol मैं गलत साबित होने के लिए खुश हूँ; मैंने सवाल और जवाब दोनों में से एक को उकेरा है - मुझे लगता है कि मेरा उबाऊ, हो-हम, अपवित्र उत्तर एक अच्छा डिफ़ॉल्ट बनाता है जो एक वास्तविक उत्तर को नापसंद करना चाहिए।

— स्टम्पी जो पीट

मुझे लगता है कि इससे मदद मिल सकती है: आंकड़े.stackexchange.com/questions/168051/…

54

मुझे लगता है कि जादू की कुंजी चिकनाई है। मेरा लंबा उत्तर जो इस प्रकार है कि इस सहजता के बारे में समझाना है। यह एक उत्तर हो सकता है या नहीं, जिसकी आप अपेक्षा करते हैं।

संक्षिप्त जवाब:

एक सकारात्मक निश्चित कर्नेल को देखते हुए , इसके कार्यों की इसी जगह मौजूद है । कार्यों के गुण कर्नेल द्वारा निर्धारित किए जाते हैं। यह पता चला है कि यदि एक गाऊसी कर्नेल है, तो में कार्य बहुत सुचारू हैं। तो, एक सीखा फ़ंक्शन (जैसे, एक प्रतिगमन फ़ंक्शन, कर्नेल पीसीए में आरकेएचएस में प्रमुख घटक) बहुत चिकना है। आमतौर पर चिकनाई की धारणा ज्यादातर डेटासेट से निपटने के लिए समझदार होती है। यह बताता है कि एक गाऊसी कर्नेल क्यों जादुई है। $k$ $\mathcal{H}$ $k$ $\mathcal{H}$

एक गाऊसी कर्नेल क्यों चिकनी कार्य देता है के लिए लंबा जवाब:

एक सकारात्मक निश्चित गिरी को परिभाषित करता है (परोक्ष) एक आंतरिक उत्पाद फीचर वेक्टर के लिए से अपने इनपुट का निर्माण , और एक हिल्बर्ट स्पेस है। अंकन $k(x,y)$ $k(x,y)=\left\langle \phi(x),\phi(y)\right\rangle _{\mathcal{H}}$ $\phi(x)$ $x$ $\mathcal{H}$ $\left\langle \phi(x),\phi(y)\right\rangle$ के बीच एक आंतरिक उत्पाद का मतलब है और । हमारे उद्देश्य के लिए, आप कल्पना कर सकते हैं कि हमेशा की तरह यूक्लिडियन स्पेस है, लेकिन संभवत: विभिन्न प्रकार के आयामों के साथ। हमेशा की तरह वेक्टर वह यह है कि असीम लंबे तरह कल्पना कीजिए । कर्नेल विधियों में, $\phi(x)$ $\phi(y)$ $\mathcal{H}$ $\phi(x)=\left(\phi_{1}(x),\phi_{2}(x),\ldots\right)$ $\mathcal{H}$ फ़ंक्शंस की एक जगह है जिसे कर्नेल हिल्बर्ट स्पेस (RKHS) कहा जाता है। इस स्थान के लिए एक विशेष संपत्ति `` प्रजनन संपत्ति '' कहा जाता है जो यह है कि है । यह कहना है कि मूल्यांकन करने के लिए , पहले आप एक फीचर वेक्टर का निर्माण (असीम लंबे समय के रूप में उल्लेख किया है) के लिए । फिर आप (असीम रूप से लंबे) द्वारा निरूपित लिए अपनी सुविधा वेक्टर का निर्माण करते हैं । का मूल्यांकन $f(x)=\left\langle f,\phi(x)\right\rangle$ $f(x)$ $f$ $x$ $\phi(x)$ $f(x)$ दोनों का आंतरिक उत्पाद लेकर दिया जाता है। जाहिर है, व्यवहार में, कोई भी असीम रूप से लंबे वेक्टर का निर्माण नहीं करेगा। चूँकि हम केवल इसके आंतरिक उत्पाद की परवाह करते हैं, हम सीधे कर्नेल मूल्यांकन करते हैं । स्पष्ट सुविधाओं की गणना को दरकिनार करते हुए और सीधे अपने आंतरिक उत्पाद की गणना करके "कर्नेल ट्रिक" के रूप में जाना जाता है। $k$

विशेषताएं क्या हैं?

मैं सुविधाओं कह रखा निर्दिष्ट करने के लिए वे क्या कर रहे हैं के बिना। कर्नेल को देखते हुए , सुविधाएँ अद्वितीय नहीं हैं। लेकिन विशिष्ट निर्धारित किया जाता है। कार्यों की चिकनाई की व्याख्या करने के लिए, आइए हम फूरियर विशेषताओं पर विचार करें। एक अनुवाद अपरिवर्तनीय कर्नेल , जिसका अर्थ , मान लें $\phi_{1}(x),\phi_{2}(x),\ldots$ $k$ $\left\langle \phi(x),\phi(y)\right\rangle$ $k$ अर्थात, कर्नेल केवल दो तर्कों के अंतर पर निर्भर करता है। गाऊसी कर्नेल में यह गुण है। चलो निरूपित फूरियर के बदलने । $k(x,y)=k(x-y)$ $\hat{k}$ $k$

इस फूरियर दृष्टिकोण में, की सुविधाओं द्वारा दिया जाता है $f$ । यह कह रही है कि अपने कार्य की सुविधा प्रतिनिधित्व अपने फूरियर द्वारा दिया जाता है Fourer से विभाजित बदलने कर्नेल का बदलना। की सुविधा प्रतिनिधित्व, जो है है $f:=\left(\cdots,\hat{f}_{l}/\sqrt{\hat{k}_{l}},\cdots\right)$ $f$ $k$ $x$ $\phi(x)$ जहां $\left(\cdots,\sqrt{\hat{k}_{l}}\exp\left(-ilx\right),\cdots\right)$ । एक दिखा सकता है कि प्रजनन संपत्ति रखती है (पाठकों के लिए एक व्यायाम)। $i=\sqrt{-1}$

किसी भी हिल्बर्ट अंतरिक्ष की तरह, अंतरिक्ष से संबंधित सभी तत्वों का परिमित मानदंड होना चाहिए। हमें एक की चुकता आदर्श पर विचार करें : $f\in\mathcal{H}$

$\|f\|_{\mathcal{H}}^{2}=\left\langle f,f\right\rangle _{\mathcal{H}}=\sum_{l=-\infty}^{\infty}\frac{\hat{f}_{l}^{2}}{\hat{k}_{l}}.$

तो जब यह मानक परिमित है, अंतरिक्ष के अंतर्गत आता है? यह तब होता है जब तेजी से से गिरता है ताकि योग परिवर्तित हो जाए। अब, एक गाऊसी कर्नेल का फूरियर रूपांतरण $f$ $\hat{f}_{l}^{2}$ $\hat{k}_{l}$ $k(x,y)=\exp\left(-\frac{\|x-y\|^{2}}{\sigma^{2}}\right)$

एक और गाऊसी है, जहां साथ तेजी से घट जाती है । इसलिए यदि को इस स्थान पर होना है, तो उसके फूरियर ट्रांसफॉर्म को की तुलना में तेजी से छोड़ना चाहिए । इसका मतलब है कि फ़ंक्शन में उच्च भार के साथ प्रभावी रूप से केवल कुछ कम आवृत्ति घटक होंगे। केवल कम आवृत्ति घटकों के साथ एक संकेत `` अधिक 'wiggle' नहीं करता है। यह बताता है कि एक गाऊसी कर्नेल आपको एक चिकनी फ़ंक्शन क्यों देता है। $\hat{k}_{l}$ $l$ $f$ $k$

अतिरिक्त: एक लाप्लास कर्नेल के बारे में क्या?

यदि आप एक लाप्लास कर्नेल , तो इसका फूरियर ट्रांसफ़ॉर्म एक कॉची वितरण है जो घातीय की तुलना में धीमा हो जाता है गॉसियन कर्नेल के फूरियर रूपांतरण में कार्य। इसका मतलब है कि एक फ़ंक्शन में अधिक उच्च आवृत्ति वाले घटक होंगे। नतीजतन, एक लाप्लास कर्नेल द्वारा दिया गया फ़ंक्शन गॉसियन कर्नेल द्वारा दिए गए तुलना में `` मोटा '' है। $k(x,y)=\exp\left(-\frac{\|x-y\|}{\sigma}\right)$ $f$

गाऊसी कर्नेल की एक संपत्ति क्या है जो अन्य गुठली नहीं है?

गाऊसी चौड़ाई के बावजूद, एक गुण यह है कि गाऊसी कर्नेल `` सार्वभौमिक '' है। सहज रूप से, इसका मतलब है, एक बंधे हुए निरंतर फ़ंक्शन (मनमाना) को देखते हुए, वहाँ एक फ़ंक्शन जैसे कि और करीब हैं (in the sense of तक मनमानी परिशुद्धता की जरूरत है। मूल रूप से, इसका मतलब है कि गॉसियन कर्नेल फ़ंक्शंस देता है जो "अच्छा" (बंधे, निरंतर) कार्यों को मनमाने ढंग से ठीक कर सकता है। गाऊसी और लाप्लास गुठली सार्वभौमिक हैं। एक बहुपद कर्नेल, उदाहरण के लिए, नहीं है। $g$ $f\in\mathcal{H}$ $f$ $g$ $\|\cdot\|_{\infty})$

क्यों, हम एक Cauchy पीडीएफ के माध्यम से आदर्श नहीं कहते हैं, और एक ही परिणाम की उम्मीद है?

सामान्य तौर पर, आप तब तक कुछ भी कर सकते हैं जब तक कि परिणामी सकारात्मक निश्चित है। सकारात्मक निश्चितता को लिए सभी , और सभी (प्राकृतिक संख्याओं का सेट) । यदि सकारात्मक निश्चित नहीं है, तो यह एक आंतरिक उत्पाद स्थान के अनुरूप नहीं है। सभी विश्लेषण टूट जाते हैं क्योंकि आपके पास उल्लिखित फ़ंक्शन का स्थान भी नहीं होता है । बहरहाल, यह अनुभवजन्य रूप से काम कर सकता है। उदाहरण के लिए, अतिशयोक्तिपूर्ण स्पर्शरेखा कर्नेल ( इस पृष्ठ पर नंबर 7 देखें ) $k$ $\sum_{i=1}^{N}\sum_{j=1}^{N}k(x_{i},x_{j})\alpha_{i}\alpha_{j}>0$ $\alpha_{i}\in\mathbb{R}$ $\{x_{i}\}_{i=1}^{N}$ $N\in\mathbb{N}$ $k$ $\mathcal{H}$

$k(x,y) = tanh(\alpha x^\top y + c)$

जिसका उद्देश्य तंत्रिका नेटवर्क में सिग्मॉइड सक्रियण इकाइयों की नकल करना है, केवल और की कुछ सेटिंग्स के लिए सकारात्मक निश्चित है । फिर भी यह बताया गया कि यह व्यवहार में काम करता है। $\alpha$ $c$

अन्य प्रकार की सुविधाओं के बारे में क्या?

मैंने कहा कि विशेषताएं अद्वितीय नहीं हैं। गॉसियन कर्नेल के लिए, सुविधाओं का एक और सेट मर्सर विस्तार द्वारा दिया गया है । प्रसिद्ध गाऊसी प्रक्रिया पुस्तक की धारा 4.3.1 देखें । इस स्थिति में, विशेषताएँ पर मूल्यांकन किए गए हर्मीट बहुपद हैं । $\phi(x)$ $x$

— Wij
स्रोत

2

मैं अभी तक इनाम देने के बारे में नहीं हूँ, लेकिन मैं इस जवाब को देने के लिए

— ललचा

अंत में इस सवाल का एक बड़ा जवाब मिला! (+1) मैं आपके द्वारा यहाँ प्रयुक्त संकेतन से संक्षेप में भ्रमित था: - और निम्नलिखित पैराग्राफ में। एक अधिक स्पष्ट संकेतन को स्पष्ट नहीं किया जाएगा जो किसी फ़ंक्शन को अलग-अलग मूल स्थान और एक वेक्टर पर कार्य करके अलग करते हैं , जहां एक कार्यात्मक है? वैसे, "प्रजनन संपत्ति" द्वारा "पुन: पेश" किए जाने की गारंटी कौन से कार्य करते हैं? सब? निरंतर? चिकनी?

f (x) = ⟨ f, ϕ (x) ⟩

$f(x)=\left\langle f,\phi(x)\right\rangle$

f (x) = ⟨ Ψ (f), ϕ (x) ⟩

$f(x)=\left\langle \Psi(f),\phi(x)\right\rangle$

f (\cdot)

$f(\cdot)$

Ψ (f) \in H

$\Psi(f) \in \mathcal H$

Ψ (\cdot)

$\Psi(\cdot)$

— अमीबा का कहना है कि मोनिका

@amoeba साहित्य में, लोग स्वयं को और कार्य का प्रतिनिधित्व नहीं करते हैं । यदि आवश्यक हो, तो कभी-कभी वे फ़ंक्शन के लिए प्रतिनिधित्व और लिए उपयोग करते हैं । अंतरिक्ष सभी कार्यों में प्रजनन संपत्ति होती है। चिकना या नहीं, जो कि कर्नेल द्वारा निर्दिष्ट है। :)

f

$f$

f

$f$

f (\cdot)

$f(\cdot)$

H

$\mathcal{H}$

— Wij

पोस्ट को अपडेट किया। तन कर्नेल पर थोड़ा और जोड़ा।

— विज

हम्म, मुझे लगता है कि मैं यहाँ उलझन में हूँ। हम एक वेक्टर स्पेस शुरू करते हैं , जहां डेटा बिंदु रहते हैं। तो फिर हम एक सकारात्मक निश्चित गिरी चुनें । फिर हम दावा करते हैं कि प्रमेय 1 धारण करता है: को कुछ हिल्बर्ट स्पेस पर डॉट उत्पाद के रूप में महसूस किया जा सकता है , जैसे कि , जहां । ठीक है। और अब आप कहते हैं कि पर अभिनय करने वाले किसी भी कार्य को उसके स्केलर उत्पाद के रूप में महसूस किया जा सकता है।

X

$\mathcal X$

x

$x$

k (\cdot, \cdot) : X \times X \to R

$k(\cdot, \cdot): \mathcal X \times \mathcal X \to \mathbb R$

k

$k$

H

$\mathcal H$

k (x, y) = ⟨ ϕ (x), ϕ (y) ⟩

$k(x,y) = \langle \phi(x), \phi(y)\rangle$

ϕ : X \to H

$\phi:\mathcal X \to \mathcal H$

f (x)

$f(x)$

X

$\mathcal X$

f \in H

$f\in \mathcal H$ with ? क्या यह सही है?

ϕ (x)

$\phi(x)$

— अमीबा

18

मैं इस सवाल का जवाब देने की पूरी कोशिश करूंगा क्योंकि मैं इस विषय पर एक विशेषज्ञ हूं (काफी विपरीत), लेकिन क्योंकि मैं इस क्षेत्र और विषय के बारे में उत्सुक हूं, इस विचार के साथ संयुक्त कि यह एक अच्छा शैक्षिक अनुभव हो सकता है । वैसे भी, यहाँ इस विषय पर मेरे संक्षिप्त शौकिया शोध का परिणाम है।

टीएल; डीआर : मैं इस प्रश्न के संक्षिप्त उत्तर के रूप में शोध पत्र "नियमितीकरण ऑपरेटरों और समर्थन वेक्टर गुठली के बीच संबंध" से निम्नलिखित पारित होने पर विचार करूंगा :

गॉसियन गुठली सामान्य चिकनाई मान्यताओं के तहत अच्छा प्रदर्शन करने के लिए करते हैं और विशेष रूप से विचार किया जाना चाहिए अगर डेटा का कोई अतिरिक्त ज्ञान उपलब्ध नहीं है।

अब, एक विस्तृत उत्तर (मेरी समझ के सर्वश्रेष्ठ के लिए; गणित विवरण के लिए, कृपया संदर्भ का उपयोग करें)।

जैसा कि हम जानते हैं, प्रिंसिपल कंपोनेंट एनालिसिस (PCA) डायनेमिकिटी में कमी , अकेले और डेटा के बाद के वर्गीकरण के लिए एक अत्यधिक लोकप्रिय तरीका है : http://www.visiondummy.com/2014/05/feature-extraction-use-pca । हालांकि, स्थितियों में, जब डेटा गैर-रैखिक निर्भरता (दूसरे शब्दों में, रैखिक रूप से अविभाज्य ) को वहन करता है, तो पारंपरिक पीसीए लागू नहीं होता है (अच्छा प्रदर्शन नहीं करता है)। उन मामलों के लिए, अन्य दृष्टिकोणों का उपयोग किया जा सकता है, और गैर-रैखिक पीसीए उनमें से एक है।

दृष्टिकोण, जहां पीसीए कर्नेल फ़ंक्शन का उपयोग करने पर आधारित होता है, आमतौर पर "कर्नेल पीसीए" ( kCACA ) शब्द का उपयोग करके किया जाता है । का प्रयोग गाऊसी रेडियल-आधार समारोह (RBF) कर्नेल शायद सबसे लोकप्रिय भिन्नता है। इस दृष्टिकोण को कई स्रोतों में विस्तार से वर्णित किया गया है, लेकिन मुझे इस ब्लॉग पोस्ट में सेबस्टियन रास्का द्वारा एक उत्कृष्ट स्पष्टीकरण बहुत पसंद है । हालांकि, गाऊसी आरबीएफ के अलावा अन्य कर्नेल फ़ंक्शंस का उपयोग करने की संभावना का उल्लेख करते हुए, पोस्ट अपनी लोकप्रियता के कारण उत्तरार्द्ध पर केंद्रित है। यह अच्छा ब्लॉग पोस्ट , कर्नेल सन्निकटन और कर्नेल ट्रिक का परिचय देते हुए, पीसीए के लिए गॉसियन कर्नेल लोकप्रियता के एक और संभावित कारण का उल्लेख करता है: अनंत आयामीता।

क्वोरा पर कई उत्तरों में अतिरिक्त अंतर्दृष्टि पाई जा सकती है। विशेष रूप से, इस उत्कृष्ट चर्चा को पढ़ने से गॉसियन कर्नेल की लोकप्रियता के संभावित कारणों पर कई बिंदुओं का पता चलता है, जो निम्नानुसार है।

गाऊसी गुठली सार्वभौमिक हैं :

गाऊसी गुठली सार्वभौमिक गुठली होती है यानी उचित नियमितीकरण के साथ उनका उपयोग विश्व स्तर पर इष्टतम भविष्यवक्ता की गारंटी देता है जो एक वर्गीकरण के अनुमान और अनुमान दोनों त्रुटियों को कम करता है।

गाऊसी गुठली वृत्ताकार होती है (जो उपर्युक्त अनंत आयामीता की ओर ले जाती है?)
गाऊसी गुठली "अत्यधिक भिन्न क्षेत्रों" का प्रतिनिधित्व कर सकती है
उपरोक्त बिंदु, मुख्य निष्कर्ष का समर्थन करते हुए, लेखक का हवाला देकर बेहतर तरीके से दिया गया है:

गाऊसी आरबीएफ कर्नेल बहुत लोकप्रिय है और विशेष रूप से डेटा और डोमेन के बारे में विशेषज्ञ ज्ञान की अनुपस्थिति में एक अच्छा डिफ़ॉल्ट कर्नेल बनाता है क्योंकि यह बहुपद और रैखिक कर्नेल को भी पसंद करता है। रैखिक कर्नेल और बहुपद कर्नेल गाऊसी आरबीएफ कर्नेल का एक विशेष मामला है। गाऊसी आरबीएफ गुठली गैर पैरामीट्रिक मॉडल है जिसका अनिवार्य रूप से मतलब है कि मॉडल की जटिलता संभावित रूप से अनंत है क्योंकि विश्लेषणात्मक कार्यों की संख्या अनंत है।

गाऊसी गुठली इष्टतम हैं ( चिकनाई पर , यहाँ और अधिक पढ़ें - वही लेखक):

एक गाऊसी कर्नेल सिर्फ एक बैंड पास फिल्टर है; यह सबसे आसान समाधान का चयन करता है। [...] एक गाऊसी कर्नेल सबसे अच्छा काम करता है जब उच्च क्रम डेरिवेटिव की अनंत राशि सबसे तेजी से परिवर्तित होती है - और यह सहज समाधान के लिए होता है।

अंत में, इस अच्छे उत्तर से अतिरिक्त अंक :

गाऊसी गुठली असीम रूप से जटिल मॉडल का समर्थन करती है
गाऊसी गुठली अधिक लचीली होती है

टिप्पणियाँ:

गाऊसी कर्नेल के बारे में उपर्युक्त बिंदु इष्टतम विकल्प है, खासकर जब डेटा के बारे में कोई पूर्व ज्ञान नहीं है, इस CV उत्तर से निम्नलिखित वाक्य द्वारा समर्थित है :

विशेषज्ञ ज्ञान की अनुपस्थिति में, रेडियल बेसिस फ़ंक्शन कर्नेल एक अच्छा डिफ़ॉल्ट कर्नेल बनाता है (एक बार जब आप इसे स्थापित कर लेते हैं तो यह एक गैर-रैखिक मॉडल की आवश्यकता होती है)।

गाऊसी आरबीएफ कर्नेल और मानक गाऊसी कर्नेल के बीच गैर-आवश्यक अंतर के बारे में उत्सुक लोगों के लिए, यह उत्तर ब्याज का हो सकता है: https://stats.stackexchange.com/a/79193/31372 ।

उन लोगों के लिए, जो खुशी या व्यवसाय के लिए केपीसीए को लागू करने में रुचि रखते हैं, यह अच्छा ब्लॉग पोस्ट सहायक हो सकता है। यह Accord.NET के लेखकों (रचनाकारों में से एक) द्वारा लिखा गया है - सांख्यिकीय विश्लेषण, मशीन सीखने, सिग्नल प्रोसेसिंग और बहुत कुछ के लिए एक बहुत ही दिलचस्प .NET खुला स्रोत ढांचा।

— अलेक्सांद्र ब्लेक
स्रोत

5

मैं इस उत्तर की रचना करने में लगाए गए प्रयास की सराहना और सराहना करता हूं, लेकिन साथ ही यह भी कहना चाहिए कि यह बहुत सारे स्रोतों से उद्धरण देता है जो बहुत आधिकारिक नहीं हैं और यह केवल इस तरह के सामान्य हाथ-लहराती स्पष्टीकरण प्रदान करते हैं जो सही हो सकते हैं लेकिन हो सकते हैं पूरी तरह से झूठ भी हो। तो RBF कर्नेल एक आइसोट्रोपिक स्थिर कर्नेल है जिसमें एक अनंत-आयामी पुनरुत्पादक हिल्बर्ट स्पेस है। अच्छा! क्या इन गुणों के साथ अन्य कर्नेल हैं? यदि हां, तो आरबीएफ उन सभी से बेहतर क्यों होगा? वास्तव में, क्या इस दावे का कोई अनुभवजन्य समर्थन है कि आरबीएफ ऐसे प्रतियोगियों से बेहतर प्रदर्शन करता है?

— अमीबा का कहना है कि मोनिका

@amoeba: दयालु शब्दों के लिए धन्यवाद। मेरे द्वारा उपयोग किए गए स्रोतों के संबंध में, आप आंशिक रूप से सही हैं - यह एक मिश्रण है और कुछ स्रोत सिर्फ राय हैं। हालांकि, कुछ स्रोत (यानी, ब्लॉग पोस्ट) स्वयं ठोस पत्रों का हवाला देते हैं। इस बिंदु पर, मैं इसकी कठोरता के बजाय एक स्पष्टीकरण की गुणवत्ता से अधिक आकर्षित था। जहां तक आपके सवाल हैं, मैं उन्हें बाद में संबोधित करने की तैयारी कर रहा हूं। मुझे थोड़ा और सिद्धांत पढ़ने की जरूरत है। मैंने पहले ही अनुभवजन्य समर्थन के साथ स्रोतों को संकलित किया है, लेकिन उनके व्यवस्थितकरण (और कुछ नींद, :) के लिए अधिक समय की आवश्यकता है।

— १३:१२ बजे

1

मुझे इस बात का अहसास है कि गॉसियन के पास वास्तविक सममित वितरण के बीच अधिकतम एन्ट्रापी है, जो सामान्य धारणा के तहत अच्छे प्रदर्शन के बारे में आपके पहले बिंदु में भूमिका निभाता है

— छायाकार

2

इसके अलावा @AleksandrBlekh यह एक शानदार संकलन है। लोग Quora पर चीर

— फाड़ करते हैं

@ssdecontrol: दयालु शब्दों के लिए धन्यवाद। खुशी है कि हम विषय के बारे में एक ही पृष्ठ पर हैं। मेरे पास अमीबा की टिप्पणी को संबोधित करने के लिए कुछ अतिरिक्त जानकारी है, इसलिए यदि आप रुचि रखते हैं, तो इस स्थान को देखें।

— अलेक्सांद्र ब्लेक

8

मुझे मेरे दो सेंट में डाल दिया।

जिस तरह से मैं गॉसियन गुठली के बारे में सोचता हूं, वह कुछ अर्थों में निकटतम पड़ोसी वर्ग के रूप में है। गॉसियन कर्नेल क्या करता है कि यह डेटासेट में अन्य सभी बिंदुओं की दूरी के साथ प्रत्येक बिंदु का प्रतिनिधित्व करता है। अब रैखिक या बहुपद सीमाओं के साथ क्लासिफायर के बारे में सोचें, सीमाएं कुछ आकारों तक सीमित हैं। हालांकि, जब आप निकटतम पड़ोसी को देखते हैं, तो सीमा व्यावहारिक रूप से कोई भी आकार ले सकती है। यही कारण है कि मुझे लगता है कि हम गाऊसी कर्नेल को गैर-पैरामीट्रिक भी मानते हैं, यानी डेटा के आधार पर सीमा को समायोजित करना। यह सोचने का एक और तरीका है कि गॉसियन कर्नेल एक क्षेत्र में स्थानीय आकार को समायोजित करता है, इसी तरह एक निकटतम पड़ोसी स्थानीय क्षेत्र में अन्य बिंदुओं की दूरी को देखकर स्थानीय रूप से सीमा को समायोजित करता है।

मेरे पास इसके लिए कोई गणितीय तर्क नहीं है, लेकिन मुझे लगता है कि तथ्य यह है कि गॉसियन गिरी वास्तव में एक अनंत आयामी अंतरिक्ष के नक्शे में अपनी सफलता के साथ कुछ करना है। रैखिक और बहुपद गुठली के लिए, डॉट उत्पादों को परिमित आयामी स्थानों में लिया जाता है; इसलिए चीजों को बड़े स्थान पर करना अधिक शक्तिशाली लगता है। मुझे उम्मीद है कि किसी को इन चीजों की बेहतर समझ होगी। इसका मतलब यह भी है कि अगर हम अनंत गुम्बदों वाले अन्य गुठली पा सकते हैं, तो उन्हें काफी शक्तिशाली होना चाहिए। दुर्भाग्य से, मैं ऐसे किसी भी कर्नेल से परिचित नहीं हूं।

आपके अंतिम बिंदु के लिए, मुझे लगता है कि कॉची पीडीएफ या कोई अन्य पीडीएफ जो किसी भी तरह से अन्य बिंदुओं की दूरी को मापता है, समान रूप से अच्छी तरह से काम करना चाहिए। फिर, मेरे पास इसके लिए एक अच्छा गणितीय तर्क नहीं है, लेकिन निकटतम पड़ोसी के लिए कनेक्शन यह प्रशंसनीय बनाता है।

संपादित करें:

यहाँ कुछ विचार हैं कि कैसे एक क्लासीफायर के बारे में सोचा जाए कि निकटतम पड़ोसी क्लासिफायर के रूप में गॉसियन गुठली का उपयोग किया जाए। पहले, आइए हम इस बारे में सोचें कि एक निकटतम पड़ोसी क्लासिफायर क्या करता है। अनिवार्य रूप से, एक निकटतम पड़ोसी क्लासिफायर एक मानक क्लासिफायरियर है जो इनपुट के रूप में बिंदुओं के बीच की दूरी का उपयोग करता है। औपचारिक रूप से, कल्पना करें कि हम डेटासेट में प्रत्येक बिंदु लिए अन्य सभी बिंदुओं से इसकी दूरी की गणना करके एक फ़ीचर प्रतिनिधित्व बनाते हैं । उपरोक्त, एक दूरस्थ कार्य है। फिर एक निकटतम पड़ोसी क्लासिफायर क्या करता है, इस सुविधा के आधार पर बिंदु के लिए वर्ग लेबल की भविष्यवाणी करना है और डेटा के लिए वर्ग लेबल। जहां $\phi_i$ $x_i$

ϕ_{i} = (d (x_{i}, x_{1}), d (x_{i}, x_{2}), \dots, d (x_{i}, x_{n}))

$\phi_i = (d(x_i,x_1), d(x_i, x_2), \ldots, d(x_i, x_n))$

d

$d$

p_{i} = f (ϕ_{i}, y)

$p_i = f(\phi_i, y)$

p_{i}

$p_i$ डेटा बिंदु लिए भविष्यवाणी है और लिए वर्ग लेबल का वेक्टर है ।

x_{i}

$x_i$

y

$y$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

जिस तरह से मुझे गुठली के बारे में लगता है कि वे एक समान काम करते हैं; वे डेटासेट में अन्य बिंदुओं के साथ अपने कर्नेल मूल्यों का उपयोग करके प्रत्येक बिंदु का एक फीचर प्रतिनिधित्व बनाते हैं। निकटतम पड़ोसी मामले के समान, औपचारिक रूप से यह अब निकटतम पड़ोसी के साथ संबंध काफी स्पष्ट है; यदि हमारा कर्नेल फ़ंक्शन कुछ माप है जो निकटतम पड़ोसी क्लासिफायर में उपयोग किए जाने वाले दूरी के उपायों से संबंधित है, तो हमारा कर्नेल आधारित क्लासिफायरियर निकटतम पड़ोसी मॉडल के समान होगा।

ϕ_{i} = (k (x_{i}, x_{1}), k (x_{i}, x_{2}), \dots, k (x_{i}, x_{n}))

$\phi_i = (k(x_i, x_1), k(x_i, x_2), \ldots, k(x_i, x_n))$

नोट: जिन क्लासीफायर को हम गुठली का उपयोग करके प्रशिक्षित करते हैं, वे सीधे इन अभ्यावेदन के साथ काम नहीं करते हैं, लेकिन मुझे लगता है कि वे वही करते हैं जो वे निहित रूप से करते हैं। $\phi_i$

— Goker
स्रोत

निकटतम पड़ोसियों की व्याख्या दिलचस्प है। क्या आपको लगता है कि आप उस पर थोड़ा विस्तार कर सकते हैं? मुझे लगता है कि मुझे मिल गया है, लेकिन मुझे यकीन नहीं है कि मैं करूँगा।

— छायाकार

@ssdecontrol मैंने कुछ टिप्पणियाँ जोड़ीं; मुझे उम्मीद है कि वे मददगार होंगे।

— गोकर

6

कारण यह है कि गाऊसी गुठली के लिए वीसी आयाम अनंत है, और इस प्रकार, मापदंडों (सिग्मा) के लिए सही मान दिए जाने पर, वे मनमाने ढंग से बड़ी संख्या में नमूनों को सही ढंग से वर्गीकृत कर सकते हैं।

RBF अच्छी तरह से काम करते हैं क्योंकि वे सुनिश्चित करते हैं कि मैट्रिक्स पूर्ण रैंक है। विचार यह है कि , और off-diagonal की शर्तों को के मूल्य को घटाकर मनमाने ढंग से छोटा किया जा सकता है । ध्यान दें कि कर्नेल सुविधा स्थान में एक डॉट उत्पाद से मेल खाती है। इस सुविधा स्थान में, आयाम अनंत है (घातीय की श्रृंखला विस्तार पर विचार करके)। इस प्रकार यह उन बिंदुओं को विभिन्न आयामों में पेश करने के रूप में देख सकता है ताकि आप उन्हें अलग कर सकें। $K(x_{i},x_{j})$ $K(x_{i},x_{i}) > 0$ $\sigma$

इसके विपरीत पर विचार करें, रैखिक गुठली का मामला, जो केवल विमान पर चार बिंदुओं को चकनाचूर कर सकता है।

आप इस पेपर पर एक नज़र डाल सकते हैं , हालांकि यह बहुत तकनीकी है। एसवीएम पर मानक पुस्तकों में से एक को इस अवधारणा को अधिक सुलभ बनाना चाहिए।

— jpmuc
स्रोत

1

'RBF अच्छी तरह से काम करते हैं क्योंकि वे यह सुनिश्चित करते हैं कि मैट्रिक्स पूर्ण रैंक है': यह हर वैध (मर्सर) कर्नेल फ़ंक्शन (रैखिक एक सहित) का सच है, इसलिए मुझे यकीन नहीं है कि यह कथित रूप से कैसे समझाता है -आरबीएफ की विकृति।

K (x_{i}, x_{j})

$K(x_i,x_j)$

— user603

2

@ User603 ने अभी क्या लिखा है इसके अलावा: क्या अनंत वीसी आयाम (लक्ष्य स्थान के आयाम) के साथ अन्य लोकप्रिय गुठली हैं? यदि हां, तो क्या वे आरबीएफ के रूप में अच्छे हैं?

— अमीबा का कहना है कि मोनिका

2

क्या VC आयाम क्लासिफायर के सेट की संपत्ति नहीं है, कर्नेल की संपत्ति नहीं है?

— Wij

2

@ user603: यह सच नहीं है। मर्जर गुठली की आवश्यकता केवल यह है कि कर्नेल मैट्रिक्स सकारात्मक अर्धचालक हो; वे एकवचन हो सकते हैं। उदाहरण के लिए, वास्तव में रेखीय कर्नेल एकवचन कर्नेल मैट्रिक्स देता है यदि आपके बिंदुओं के सेट में है। (बेशक, अधिकांश कर्नेल सख्ती से सकारात्मक निश्चित होते हैं और इसलिए यह गॉस आरबीएफ की विशेष रूप से विशिष्ट संपत्ति नहीं है।)

x_{i} = 0

$x_i = 0$

— डगल