कर्नेल अनुमोदन के लिए Nystroem विधि

मैं निम्न-श्रेणी कर्नेल aproximation के लिए Nyström विधि के बारे में पढ़ रहा हूं। इस पद्धति को स्किकिट-लर्न [1] में लागू किया गया है, जो कि डेटा सैंपल को कर्नेल फीचर मैपिंग के निम्न-श्रेणी के सन्निकटन के रूप में पेश करता है।

मेरे ज्ञान के सर्वश्रेष्ठ के लिए, एक प्रशिक्षण सेट और कर्नेल फ़ंक्शन दिया गया, यह SVD को लागू करके कर्नेल मैट्रिक्स एक निम्न-श्रेणी सन्निकटन उत्पन्न करता है। और । $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

हालाँकि, मुझे समझ में नहीं आता है कि कर्नेल मैट्रिक्स के निम्न-श्रेणी के सन्निकटन का उपयोग सन्निकट कर्नेल अंतरिक्ष में नए नमूनों को प्रोजेक्ट करने के लिए कैसे किया जा सकता है । मैंने जो कागजात पाए हैं (उदाहरण के लिए [२]) बहुत मदद के नहीं हैं, क्योंकि वे बहुत कम हैं।

इसके अलावा, मैं इस पद्धति की कम्प्यूटेशनल जटिलता के बारे में उत्सुक हूं, दोनों प्रशिक्षण और परीक्षण चरणों में।

[१] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[२] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— डैनियल लोपेज़
स्रोत

आइए, Nyström सन्निकटन को इस तरह से प्राप्त करें कि आपके प्रश्नों के उत्तर स्पष्ट हो जाएं।

Nyström में प्रमुख धारणा यह है कि कर्नेल फ़ंक्शन रैंक । (वास्तव में हम मानते हैं कि यह लगभग रैंक के , लेकिन सादगी देना सिर्फ बहाना है के लिए यह वास्तव में रैंक अब के लिए।) इसका मतलब है कि किसी भी गिरी मैट्रिक्स ज्यादा से ज्यादा पद के लिए जा रहा है , और विशेष रूप से है रैंक । इसलिए नॉनज़रो ईजेनवेल्यूज़ हैं, और हम के यूजेंडेकंपोजिशन को रूप में लिख सकते हैं $m$ $m$ $m$ $m$

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = U Λ U^{T}

$K = U \Lambda U^T$ nigenvectors के साथ में संग्रहित , आकार , और eigenvalues में व्यवस्था की गई , एक विकर्ण मैट्रिक्स।

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

तो, चलिए तत्वों को लेते हैं, आमतौर पर समान रूप से यादृच्छिक रूप से लेकिन संभवतः अन्य योजनाओं के अनुसार - इस सरलीकृत संस्करण में जो कुछ भी मायने रखता है वह है कि पूर्ण रैंक का हो। एक बार जब हम ऐसा कर लेते हैं, तो केवल उन बिंदुओं को रीलैब करते हैं ताकि हम ब्लॉकों में कर्नेल मैट्रिक्स के साथ समाप्त हो जाएं: जहां हम (जो ) और ( ) में प्रत्येक प्रविष्टि का मूल्यांकन करते हैं, लेकिन में किसी भी प्रविष्टि का मूल्यांकन नहीं करना चाहते हैं । $m$ $K_{11}$

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$

K_{22}

$K_{22}$

अब, हम इस ब्लॉक संरचना के अनुसार भी ईगेंडेकोम्पोजिशन को विभाजित कर सकते हैं: start जहां है और है । लेकिन ध्यान दें कि अब हमारे पास । इसलिए हम ज्ञात मैट्रिक्स को eigendecomposing करके और पा सकते हैं ।

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

हम यह भी जानते हैं कि । यहां, हम इस समीकरण में सब कुछ जानते हैं। को छोड़कर , इसलिए हम इस बात का हल सकते हैं कि कौन-से eigenvalues का तात्पर्य है: दोनों पक्षों को प्राप्त करने के लिए दोनों तरफ से गुणा करें अब हमारे पास : का मूल्यांकन करने के लिए आवश्यक सब कुछ है $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

(*) में, हमें Nyström एम्बेडिंग का एक संस्करण मिला है जिसे आपने परिभाषा के रूप में देखा होगा। यह हमें प्रभावी कर्नेल मान बताता है, जिसे हम ब्लॉक लिए लागू कर रहे हैं । $K_{22}$

(**) में, हम देखते हैं कि सुविधा मैट्रिक्स , जो आकार , इन बाधित कर्नेल मानों से मेल खाती है। यदि हम अंक के लिए करते हैं , तो हमारे पास -dimensional सुविधाएँ हम बस जल्दी से सत्यापित कर सकते हैं कि सही कर्नेल मैट्रिक्स से मेल खाती है: $K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

इसलिए, हमें केवल अपने नियमित शिक्षण मॉडल को -dimensional features साथ प्रशिक्षित करना होगा । यह वास्तव में साथ सीखने की समस्या के कर्नेलाइज़्ड संस्करण के रूप में (मान्यताओं के तहत) है । $m$ $\Phi$ $K$

अब, के लिए एक व्यक्तिगत डेटा बिंदु , में सुविधाओं पत्र व्यवहार करने के विभाजन 2 में एक बिंदु लिए , वेक्टर केवल की प्रासंगिक पंक्ति है , ताकि स्टैकिंग ये हमें - इसलिए विभाजन में बिंदुओं के लिए सहमत होता है। यह विभाजन 1 में भी काम करता है: वहाँ, वेक्टर की एक पंक्ति है , इसलिए उन्हें स्टैक करने से , फिर से साथ सहमत हो जाता है $x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$ । तो ... यह अभी भी एक अनदेखी-पर-प्रशिक्षण-समय परीक्षण बिंदु । आप बस एक ही काम करते हैं: क्योंकि हमने माना कि कर्नेल रैंक , मैट्रिक्स भी रैंक , और का पुनर्निर्माण अभी भी ठीक उसी तर्क द्वारा सटीक है, जैसा कि ।

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

इन सबसे ऊपर, हम मान लिया है कि गिरी मैट्रिक्स था वास्तव में रैंक । यह आमतौर पर मामला नहीं है; एक गाऊसी कर्नेल के लिए, उदाहरण के लिए, है हमेशा रैंक , लेकिन बाद eigenvalues आम तौर पर बहुत जल्दी छोड़ तो यह होने वाला है के करीब रैंक के एक मैट्रिक्स है, और के बारे में हमारी पुनर्निर्माण या सही मानों के करीब होने जा रहे हैं लेकिन वास्तव में समान नहीं हैं। वे बेहतर पुनर्निर्माण करीब की eigenspace हो जाएगा की है कि हो जाता है

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

K

$K$ कुल मिलाकर, यही कारण है कि सही अंक चुनना अभ्यास में महत्वपूर्ण है।

m

$m$

यह भी ध्यान दें कि यदि में कोई भी शून्य ईजेंवल है, तो आप व्युत्क्रम को pseudoinverses से बदल सकते हैं और सब कुछ अभी भी काम करता है; आप अभी साथ पुनर्निर्माण में को प्रतिस्थापित करते हैं । $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$

यदि आप चाहें, तो आप eigendecomposition के बजाय SVD का उपयोग कर सकते हैं; चूंकि psd है, इसलिए वे एक ही चीज़ हैं, लेकिन कर्नेल मैट्रिक्स में और थोड़ी सी भी संख्यात्मक त्रुटि के लिए SVD थोड़ी अधिक मजबूत हो सकती है, इसलिए यह डरावना-सीखता है। स्किकिट-लर्न का वास्तविक कार्यान्वयन ऐसा करता है, हालांकि यह बजाय व्युत्क्रम में का उपयोग करता है। $K$ $\max(\lambda_i, 10^{-12})$

— Dougal
स्रोत

जब पॉजिटिव सेमीफाइंड हो जाता है, तो eigendecomposition एसवीडी के साथ मेल खाता है। scikit-learn, क्योंकि संख्यात्मक त्रुटि के कारण थोड़ा गैर-psd हो सकता है, इसके बजाय गणना करता है , और , इसलिए कि की सुविधाएँ । यह मूल रूप से एक ही बात है।

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

— डगल

वूप्स, क्षमा करें, हाँ, वे । यह सब वास्तव में बात के बाद से नहीं है , लेकिन क्योंकि वे के लिए पक्षांतरित सुविधाओं करना के रूप में अंत ।

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

— डगल

एक विकर्ण मैट्रिक्स को एक शक्ति में उठाना प्रत्येक तत्व को एक शक्ति को बढ़ाने के समान है, और । संख्यात्मक प्रसारण संकेतन में, एक वेक्टर द्वारा एलिमेंट वाइज गुणा एक विकर्ण मैट्रिक्स द्वारा सही-गुणा करना है। इसके अलावा, वह कोड का उपयोग करता है जिसका अर्थ है कि मैं को बुला रहा था ।

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

— डगल

वूप्स, क्षमा करें, यह केवल तक होना चाहिए (फिर से लेबल किए गए आदेश में, ताकि वे Nyström आधार अंक हों)। ठीक कर देंगे।

x_{m}

$x_m$

— डगल २

x

$x$ एक डेटा बिंदु है, इसका आयाम यहां निर्दिष्ट नहीं है। में हो सकता है , या यह एक स्ट्रिंग या कुछ और हो सकता है; सिर्फ इतना कहना है कि , ताकि । तब बस ढेरों लिए अलग इनपुट।

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$

— डगल २