कैसे साबित किया जाए कि रेडियल आधार फ़ंक्शन एक कर्नेल है?

35

यह कैसे साबित करें कि रेडियल आधार फ़ंक्शन एक कर्नेल है? जहां तक मैं समझता हूं, यह साबित करने के लिए हमें निम्नलिखित में से किसी एक को साबित करना होगा: $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

वैक्टर मैट्रिक्स = के किसी भी सेट के लिए सकारात्मक अर्धविराम है। $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
एक मानचित्रण $\Phi$ रूप में इस तरह प्रस्तुत किया जा सकता $k(x, y)$ = । $\langle\Phi(x), \Phi(y)\rangle$

कोई मदद?

svm kernel-trick

— सिंह
स्रोत

1

बस इसे और अधिक स्पष्ट रूप से लिंक करने के लिए: इस सवाल में फ़ीचर मैप पर भी चर्चा की गई है , विशेष रूप से टेलर श्रृंखला और खदान पर आधारित मार्क क्लेसेन के उत्तर पर जो आरकेएचएस और डगलस द्वारा दिए गए

एम्बेडिंग के सामान्य संस्करण दोनों पर चर्चा करता है ।

L_{2}

$L_2$

— डगल

26

ज़ेन उपयोग विधि 1. यहाँ विधि 2 है: मैप $x$ एक गोलाकार सममित गौसियन वितरण में हिल्बर्ट अंतरिक्ष में पर केंद्रित है । मानक विचलन और एक स्थिर कारक को ठीक से काम करने के लिए इसे मोड़ना होगा। उदाहरण के लिए, एक आयाम में, $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

तो, के मानक विचलन का उपयोग $\sigma/\sqrt 2$ और गाऊसी वितरण पैमाने पर प्राप्त करने के लिए $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ । यह अंतिम पुनर्विक्रय होता है क्योंकिसामान्य वितरण का $L^2$ मानक सामान्य रूप सेनहीं है $1$ ।

— डगलस ज़ारे
स्रोत

2

@ ज़ेन, डगलस ज़ारे: आपके शानदार जवाब के लिए धन्यवाद। अब मुझे आधिकारिक उत्तर का चयन कैसे करना चाहिए?

— सिंह

23

मैं विधि 1 का उपयोग करूंगा। विधि 2 का उपयोग करते हुए एक प्रमाण के लिए डगलस ज़ारे के उत्तर की जाँच करें।

मैं मामला है जब साबित होगा , वास्तविक संख्याएं हैं तो । सामान्य मामला एक ही तर्क से उत्परिवर्ती उत्परिवर्तन का अनुसरण करता है, और करने योग्य है। $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

व्यापकता की हानि के बिना, मान लीजिए कि । $\sigma^2=1$

, जहां लिखें $k(x,y)=h(x-y)$ वितरण केसाथएक यादृच्छिक चरकी विशेषता कार्य है।

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

वास्तविक संख्या के लिए और , हम $x_1,\dots,x_n$ $a_1,\dots,a_n$ जो यहकहता हैकि एक सकारात्मक अर्धचालक कार्य है, उर्फ कर्नेल है।

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

इस परिणाम को अधिक सामान्यता में समझने के लिए, Bochner की प्रमेय की जाँच करें: http://en.wikipedia.org/wiki/Positive-definite_function

— जेन
स्रोत

2

यह एक अच्छी शुरुआत है, दो दिशाओं के साथ, सही दिशा में: (ए)

दिखाए गए अपेक्षा के बराबर नहीं है (घातांक में संकेत की जांच करें) और (बी) यह इस मामले पर ध्यान देने के लिए प्रकट होता है जहां

और

स्केलर हैं न कि वैक्टर। मैंने इस बीच अपवित्र किया है, क्योंकि प्रदर्शनी अच्छी और साफ है और मुझे यकीन है कि आप जल्दी से इन छोटे अंतरालों को प्लग करेंगे। :-)

h (t)

$h(t)$

x

$x$

y

$y$

— कार्डिनल

1

टी.के.एस! मैं यहां जल्दी में हूं। :-)

— ज़ेन

1

क्षमा करें, मैं वास्तव में यह नहीं देखता कि आप यहां के म्यूटिस म्यूटेंडिस का प्रबंधन कैसे करते हैं। यदि आप

फॉर्म में पास होने से पहले मानदंड विकसित करते हैं , तो आपको उत्पाद मिल गए हैं और आप उत्पादों और राशि को स्वैप नहीं कर सकते। और मैं बस यह नहीं देखता हूं कि एक अच्छी अभिव्यक्ति प्राप्त करने के लिए एच फॉर्म में पास होने के बाद आदर्श कैसे विकसित किया जाए। क्या आप मुझे वहां ले जा सकते हैं? :)

h

$h$

— अल्बर्कर्क

23

मैं एक तीसरी विधि जोड़ूंगा, बस विविधता के लिए: पीडी कर्नेल बनाने के लिए ज्ञात सामान्य चरणों के अनुक्रम से कर्नेल का निर्माण। चलो निरूपित नीचे और कर्नेल के डोमेन सुविधा नक्शे। $\mathcal X$ $\varphi$

Scalings: यदि एक पीडी गिरी है, इसलिए है किसी भी निरंतर के लिए । $\kappa$ $\gamma \kappa$ $\gamma > 0$

सबूत: अगर के लिए सुविधा नक्शा है , $\varphi$ $\kappa$ के लिए एक वैध सुविधा नक्शा है। $\sqrt\gamma \varphi$ $\gamma \kappa$
रकम: यदि और पीडी कर्नेल हैं, इसलिए है । $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

$\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
$\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

Proof: For each $m, n \ge 1$ and every $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ we have that $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ . Taking the limit as $n \to \infty$ gives the same property for $\kappa$ .
Products: If $\kappa_1$ and $\kappa_2$ are pd kernels, so is $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$ .

Proof: It follows immediately from the Schur product theorem, but Schölkopf and Smola (2002) give the following nice, elementary proof. Let
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ be independent. Thus $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ Covariance matrices must be psd, so considering the covariance matrix of $(V_1 W_1, \dots, V_n W_n)$ proves it.
Powers: If $\kappa$ is a pd kernel, so is $\kappa^n(x, y) := \kappa(x, y)^n$ for any positive integer $n$ .

Proof: immediate from the "products" property.
Exponents: If $\kappa$ is a pd kernel, so is $e^\kappa(x, y) := \exp(\kappa(x, y))$ .

Proof: We have $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$ ; use the "powers", "scalings", "sums", and "limits" properties.
Functions: If $\kappa$ is a pd kernel and $f : \mathcal X \to \mathbb R$ , $g(x, y) := f(x) \kappa(x, y) f(y)$ is as well.

Proof: Use the feature map $x \mapsto f(x) \varphi(x)$ .

Now, note that

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$ Start with the linear kernel

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$ , apply "scalings" with

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$ , apply "exponents", and apply "functions" with

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$ .

— Dougal
स्रोत