कर्नेल रिज प्रतिगमन दक्षता

Question

रिज प्रतिगमन के रूप में व्यक्त किया जा सकता है

$$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$$ कहाँ पे $\hat{y}$ अनुमानित लेबल है, $\mathbf{I}_d$ $d \times d$ मैट्रिक्स की पहचान करें, $\mathbf{x}$ वह वस्तु जिसके लिए हम एक लेबल खोजने की कोशिश कर रहे हैं, और $\mathbf{X}$ $n \times d$ का मैट्रिक्स $n$ वस्तुओं $\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$ ऐसा है कि:

$$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$$

हम इसे इस प्रकार से कर्नेल कर सकते हैं:

$$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$$

कहाँ पे $\mathbf{\mathcal{K}}$ है $n \times n$ कर्नेल कार्यों का मैट्रिक्स $K$

$$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$$

तथा $\mathbf{k}$ $n \times 1$ कॉलम कर्नेल फ़ंक्शंस के वेक्टर $K$

$$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$$

प्रशन:

(a) यदि अधिक वस्तुएँ हैं $\mathbf{x}_i$आयामों की तुलना में यह गुठली का उपयोग नहीं करने के लिए समझ में आता है ? उदा$\mathbf{X}$ ए हो $50 \times 3$ तब मैट्रिक्स $\mathbf{X}'\mathbf{X}$ होगा एक $3 \times 3$ और हम अंत में एक inverting करेंगे $3 \times 3$ के बजाय मैट्रिक्स $50 \times 50$मैट्रिक्स हम उलटा होगा हम गुठली का उपयोग करने के लिए थे। क्या इसका मतलब यह है कि यदि$d \leq n$ हमें गुठली का उपयोग नहीं करना चाहिए?

(b) सरलतम संभव कर्नेल का उपयोग किया जाना चाहिए? ऐसा लगता है कि रिज रिग्रेशन में गुठली का उपयोग आयामीता के प्रभावों को नकारने के लिए किया जाता है और फीचर स्पेस के कुछ गुणों का उपयोग न करने के लिए (समर्थन वेक्टर मशीनों के विपरीत)। हालाँकि, गुठली वस्तुओं के बीच की दूरी को बदल सकती है इसलिए क्या रिज रिग्रेशन में कोई लोकप्रिय गुठली का उपयोग किया जाता है?

(c) क्या है $O$ रिज प्रतिगमन और / या कर्नेल रिज प्रतिगमन की समय जटिलता?

Comments

आंकड़ों में 'दक्षता' का एक अलग अर्थ है। क्या आपका मतलब 'कम्प्यूटेशनल जटिलता' था? (शीर्षक में)

— मेमोरियल

मेरा मतलब था "एल्गोरिथम दक्षता"। हालांकि यह सच है कि मेरे सवाल अनिवार्य रूप से "कम्प्यूटेशनल जटिलता" को कम कर देते हैं।

— हेलिक्स

Answer 1

(ए) कर्नेल का उपयोग करने का उद्देश्य इस मामले में एक nonlinear प्रतिगमन समस्या को हल करना है। एक अच्छा कर्नेल आपको संभवतः अनंत-आयामी सुविधा स्थान में समस्याओं को हल करने की अनुमति देगा। लेकिन, एक रैखिक कर्नेल का उपयोग करते हुए$K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$ और दोहरी अंतरिक्ष में कर्नेल रिज प्रतिगमन कर रहा है जैसे कि समतल स्थान में समस्या को हल करना, अर्थात, यह कोई लाभ नहीं लाता है (यह सिर्फ बहुत धीमा है क्योंकि आपके द्वारा देखे गए नमूने की संख्या बढ़ती है)।

(b) सबसे लोकप्रिय विकल्पों में से एक वर्ग घातीय कर्नेल है $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$जो सार्वभौमिक है (नीचे रेफरी देखें)। कई कर्नेल हैं, और उनमें से प्रत्येक आपके फीचर स्थान पर अलग-अलग आंतरिक उत्पाद (और इसलिए मीट्रिक) को प्रेरित करेगा।

(c) सीधे कार्यान्वयन के लिए आकार के रैखिक समीकरण को हल करने की आवश्यकता होती है $n$, तो यह $O(n^3)$। Nyström सन्निकटन जैसे कई तेज़ सन्निकटन विधियाँ हैं। यह सक्रिय अनुसंधान का एक क्षेत्र है।

संदर्भ:

1. भरथ श्रीपेरुम्बुदूर, केंजी फुकुमिजू, और गर्ट लैंक्रिएट। सार्वभौमिकता, विशेषता गुठली और RKHS उपायों के बीच संबंध पर। जर्नल ऑफ़ मशीन लर्निंग रिसर्च, 9: 773–780, 2010।
2. बर्नहार्ड शल्कोफ, अलेक्जेंडर जे। स्मोला। कर्नेल के साथ सीखना: वेक्टर मशीनों, नियमितीकरण, अनुकूलन और 2002 से परे का समर्थन करें