गाऊसी कर्नेल के लिए फ़ीचर मैप

24

एसवीएम में, गाऊसी कर्नेल को इस प्रकार परिभाषित किया गया है: जहां । मैं के स्पष्ट समीकरण को नहीं जानता । मैं यह जानना चाहता हूँ।

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

मैं यह भी जानना चाहता हूं कि क्या

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ जहां

c_{i} \in R

$c_i\in \mathbb R$ । अब, मुझे लगता है कि यह बराबर नहीं है, क्योंकि कर्नेल का उपयोग उस स्थिति को संभालता है जहां रैखिक क्लासियर काम नहीं करता है। मुझे पता है कि

ϕ

$\phi$ प्रोजेक्ट्स x एक अनंत स्थान पर है। तो अगर यह अभी भी रैखिक है, चाहे वह कितने आयाम हो, svm अभी भी एक अच्छा वर्गीकरण नहीं कर सकता है।

machine-learning svm kernel-trick

— विवियन
स्रोत

यह कर्नेल परिवर्तन क्यों करता है? या आप संबंधित सुविधा स्थान की बात कर रहे हैं?

— प्लासीडिया

हाँ, फ़ीचर स्पेस

ϕ (\cdot)

$\phi(\cdot)$ ताकि

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

आप गॉसियन कर्नेल के लिए के टेलर श्रृंखला विस्तार के माध्यम से का स्पष्ट समीकरण प्राप्त कर सकते हैं । उल्लेखनीय सादगी के लिए, मान लें : $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

NTU के चिह-जेन लिन (स्लाइड 11 विशेष रूप से) द्वारा इन स्लाइडों में अधिक विस्तार से चर्चा की गई है । ध्यान दें कि स्लाइड्स में कर्नेल पैरामीटर के रूप में उपयोग किया जाता है। $\gamma=\frac{1}{2\sigma^2}$

ओपी में समीकरण केवल रैखिक कर्नेल के लिए होता है।

— मार्क क्लेसेन
स्रोत

2

हाय, लेकिन यह समीकरण केवल एक आयाम के अनुरूप है।

— विवियन

तो, यहाँ, प्रजनन कर्नेल हिल्बर्ट स्पेस का एक उपस्थान है , सही है?

ℓ^{2}

$\ell^2$

— the_Anomaly

क्या लाप्लासियन कर्नेल का एक स्पष्ट प्रतिनिधित्व भी है?

— फेलिक्स Crazzolara

13

किसी भी मान्य psd कर्नेल , वहाँ एक विशेषता नक्शा मौजूद है जैसे कि । वास्तव में space और embedding अद्वितीय होने की आवश्यकता नहीं है, लेकिन एक महत्वपूर्ण अनूठी जोड़ी जिसे प्रजनन कर्नेल हिल्बर्ट स्पेस (RKHS) के रूप में जाना जाता है। $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS द्वारा इस पर चर्चा की गई है: स्टीनवार्ट, हश और स्कवेल, गाऊसी आरबीएफ कर्नेल के रिप्रोडयिंग कर्नेल हिल्बर्ट स्पेसेस का एक स्पष्ट विवरण , सूचना सिद्धांत 2006 पर आईईईई लेन-देन ( डोई , फ्री सिटिजेर पीडीएफ )।

यह कुछ जटिल है, लेकिन यह इसके लिए को रूप में $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

आज्ञा दें एक ऐसा क्रम हो सकता है जिसमें सभी -tuples के nonnegative पूर्णांक होते हैं; if , शायद , , , इत्यादि। द्वारा th के वें घटक को निरूपित करें । $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

तब वें घटक of is । तो मैप्स वैक्टर में से अनंत-आयामी जटिल वैक्टर। $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

इसके लिए पकड़ यह है कि हमें आगे एक विशेष तरीके से इन अनंत-आयामी जटिल वैक्टर के लिए मानदंडों को परिभाषित करना है; विवरण के लिए कागज देखें।

स्टीनवार्ट एट अल। में एम्बेडिंग (मेरी सोच के अनुसार) को और भी अधिक सीधी जगह दें, : से वर्ग-पूर्णांक कार्यों का हिल्बर्ट स्थान ध्यान दें कि अपने आप में से एक फ़ंक्शन है । यह मूल रूप से एक का घनत्व है आयामी गाऊसी साथ मतलब और सहप्रसरण ; केवल सामान्यीकरण स्थिरांक अलग है। इस प्रकार जब हम लेते हैं $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ हम गाऊसी घनत्व कार्यों का उत्पाद ले रहे हैं , जो कि अपने आप में एक निश्चित निरंतर गुना गाऊसी घनत्व कार्य है। जब आप द्वारा उस अभिन्न को करते , तो, जो निरंतर गिरता है वह बिल्कुल ।

t

$t$

k (x, y)

$k(x, y)$

ये केवल काम करने वाले एम्बेडिंग नहीं हैं।

एक और फूरियर ट्रांसफॉर्म पर आधारित है, जो रहीमी और रेचट ( रैंडम फीचर्स फॉर लार्ज-स्केल कर्नेल मशीन , एनआईपीएस 2007) के नाम से मशहूर पेपर काफी प्रभाव में है।

आप टेलर श्रृंखला का उपयोग भी कर सकते हैं: प्रभावी रूप से कॉटर, केशे और सॉरेब के अनंत संस्करण, गाऊसी कर्नेल की स्पष्ट स्वीकृति , arXiv: 1109.4603 ।

— Dougal
स्रोत

1

डगलस ज़ारे ने यहां एक दिलचस्प धागे में "अधिक सीधा" का 1d संस्करण एम्बेड किया ।

— डगल

यहां आपको एक अधिक 'सहज' स्पष्टीकरण मिलता है कि एक अनन्त प्रशिक्षण नमूने के लिए भी, प्रशिक्षण नमूने के आकार के बराबर आयाम पर घूम सकता है: आंकड़े ।stackexchange.com

Φ

$\Phi$

6

यह मुझे लगता है कि आपका दूसरा समीकरण केवल तभी सच होगा जब एक रेखीय मानचित्रण है (और इसलिए एक रैखिक कर्नेल है)। जैसा कि गॉसियन कर्नेल गैर-रैखिक है, समानता नहीं होगी (शायद सीमा में शून्य के रूप में छोड़कर )। $\phi$ $K$ $\sigma$

— डिक्रान मार्सुपियल
स्रोत

आपके उत्तर के लिए धन्यवाद। जब

, गाऊसी कर्नेल परियोजनाओं के आयाम में वृद्धि होगी। और आपकी प्रेरणा से, अब मुझे लगता है कि यह बराबर नहीं है। क्योंकि, कर्नेल का उपयोग सिर्फ उस स्थिति को संभालता है जो रैखिक वर्गीकरण काम नहीं करता है।

σ \to 0

$\sigma\rightarrow 0$

— विवियन