क्या कर्नेल पीसीए मानक पीसीए के बराबर रैखिक कर्नेल के साथ है?

Question

यदि कर्नेल पीसीए में मैं एक रैखिक कर्नेल चयन करता हूं , तो क्या परिणाम सामान्य रेखीय रैखिक से अलग होने वाला है ? क्या समाधान मौलिक रूप से अलग हैं या कुछ अच्छी तरह से परिभाषित संबंध मौजूद हैं?$K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

Answer 1

सारांश: रैखिक कर्नेल के साथ कर्नेल पीसीए मानक पीसीए के बराबर है।

चलो $\mathbf{X}$ के केंद्रित डेटा मैट्रिक्स होना $N \times D$ के साथ आकार $D$ कॉलम और में चर $N$ पंक्तियों में डेटा इंगित करता है। फिर कोविरेंस मैट्रिक्स , इसके eigenvectors प्रिंसिपल एक्सिस हैं और eigenvalues ​​पीसी वेरिएंस हैं। इसी समय, एक तथाकथित ग्राम मैट्रिक्स विचार कर सकते हैं के आकार। यह देखना आसान है कि इसमें कारक तक एक ही eigenvalues ​​(यानी पीसी संस्करण) हैं , और इसके eigenvectors यूनिट घटक के लिए मुख्य घटक हैं।$D \times D$$\mathbf{X}^\top\mathbf{X}/(n-1)$$\mathbf{X}\mathbf{X}^\top$$N \times N$$n-1$

यह मानक पीसीए था। अब, कर्नेल पीसीए में हम कुछ फ़ंक्शन $\phi(x)$ पर विचार करते हैं जो प्रत्येक डेटा को एक और वेक्टर स्थान पर इंगित करता है जिसमें आमतौर पर बड़ी आयामी $D_\mathrm{new}$ , संभवतः अनंत भी। कर्नेल पीसीए का विचार इस नए स्थान में मानक पीसीए का प्रदर्शन करना है।

चूँकि इस नए स्थान की आयामीता बहुत बड़ी (या अनंत) है, इसलिए कोविरियस मैट्रिक्स की गणना करना कठिन या असंभव है। हालांकि, हम ऊपर उल्लिखित पीसीए के लिए दूसरा दृष्टिकोण लागू कर सकते हैं। वास्तव में, ग्राम मैट्रिक्स अभी भी एक ही प्रबंधनीय $N \times N$ आकार का होगा। इस मैट्रिक्स के तत्व \ phi (\ mathbf {x} _i) \ phi (\ mathbf {x} _j) द्वारा दिए गए हैं $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$, जिसे हम कर्नेल फ़ंक्शन $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ । यह वह है जिसे कर्नेल ट्रिक के रूप में जाना जाता है : वास्तव में कभी भी \ phi () की गणना करने की आवश्यकता नहीं होती है $\phi()$, लेकिन केवल $K()$ । इस ग्राम मैट्रिक्स के Eigenvectors लक्ष्य स्थान में मुख्य घटक होंगे, जिन्हें हम रुचि रखते हैं।

आपके प्रश्न का उत्तर अब स्पष्ट हो गया है। यदि , तो कर्नेल ग्राम मैट्रिक्स जो मानक ग्राम मैट्रिक्स के बराबर है , और इसलिए प्रमुख घटक नहीं बदलेंगे।$K(x,y)=\mathbf{x}^\top \mathbf{y}$$\mathbf{X} \mathbf{X}^\top$

एक बहुत ही पठनीय संदर्भ स्कोलोपफ बी, स्मोला ए, और मुलर केआर, कर्नेल प्रमुख घटक विश्लेषण, 1999 है , और ध्यान दें कि उदाहरण के लिए चित्र 1 में वे स्पष्ट रूप से मानक पीसीए को संदर्भित करते हैं, जो कर्नेल फ़ंक्शन के रूप में डॉट उत्पाद का उपयोग करते हैं।

Comments

क्या वे चित्र आपके उत्तर से थे? किसी किताब से?

— पिनोचियो

@Pinocchio, यह आंकड़ा Scholkopf et al से लिया गया है। कागज, संदर्भित और मेरे उत्तर में जुड़ा हुआ है।

— अमीबा का कहना है कि मोनिका

"यह देखना आसान है कि इसमें समान eigenvalues ​​(यानी पीसी संस्करण) n wouldn't 1 कारक तक है " - इसका मतलब यह नहीं होगा कि वे पूरी तरह से बराबर नहीं हैं? मान लीजिए कि मेरे पास n = 10 नमूने हैं, d = 200 आयाम हैं। मानक पीसीए में मैं डेटा को 199 आयामों पर प्रोजेक्ट करने में सक्षम होऊंगा अगर मैं चाहता था, लेकिन कर्नेल पीसीए में रैखिक कर्नेल के साथ मैं केवल 10 आयामों तक ही कर सकता हूं।

— सीजर

@ केसर, नहीं, यदि आपके पास n = 10 नमूने हैं तो कोवरियन मैट्रिक्स की रैंक 10-1 = 9 होगी और मानक पीसीए में केवल 9 आयाम (साथ ही कर्नेल पीसीए) होंगे। यहां देखें: आंकड़े . stackexchange.com/questions/123318

— अमीबा का कहना है कि

मुझे स्कोलॉफ़ बी, स्मोला ए और मुलर केआर के संदर्भ लिंक के लिए फाइल नहीं मिल रही है।

— pbible

Answer 2

अमीबा के अच्छे जवाब के अलावा, समतुल्यता को देखने का एक और सरल तरीका भी है। फिर से को कॉलमों में D वेरिएबल्स के साथ N × D आकार का डेटा मैट्रिक्स और पंक्तियों में N डेटा पॉइंट्स होने दें। स्टैंडर्ड पीसीए मैट्रिक्स की एक विलक्षण मूल्य अपघटन लेने से मेल खाती है एक्स = यू Σ वी ⊤ साथ यू के प्रमुख घटक एक्स । रैखिक गिरी के एकमात्र मूल्य अपघटन एक्स एक्स ⊤ = यू Σ 2 यू $X$$N \times D$$D$$N$$X = U \Sigma V^\top$$U$$X$$XX^\top = U \Sigma^2 U^\top$ एक ही बाएं एकवचन वैक्टर और इतने ही प्रमुख घटक हैं।

Comments

मानक पीसीए के लिए, मुझे लगा कि हम सहसंयोजक मैट्रिक्स के एसवीडी के बारे में परवाह करते हैं, इसलिए वास्तव में यह नहीं समझते हैं कि एक्सवी का एसवीडी कैसे प्रासंगिक है, क्या आप कृपया विस्तार कर सकते हैं?

— m0s

PCA के लिए @ m0s, हम सहसंयोजक मैट्रिक्स के eigendecomposition की परवाह करते हैं जो हम आमतौर पर (केंद्रित) डेटा मैट्रिक्स के SVD द्वारा करते हैं।

— १

Answer 3

यह मुझे लगता है कि रैखिक कर्नेल के साथ एक KPCA सरल पीसीए के समान होना चाहिए।

कोविरेंस मैट्रिक्स जिसे आप से eigenvalues ​​प्राप्त करने जा रहे हैं, वही है:

$$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$$

आप अधिक विवरण के साथ यहां देख सकते हैं ।

Comments

आपका उत्तर आत्मा में सही है, लेकिन सूत्र भ्रामक लगता है। KPCA ग्राम मैट्रिक्स साथ काम करता है , सहसंयोजक मैट्रिक्स के साथ नहीं (कई nonlinear गुठली के लिए यह वास्तव में सहसंयोजक मैट्रिक्स की गणना करने के लिए असंभव है क्योंकि लक्ष्य स्थान में अनंत आयामी गतिशीलता है)। आपके द्वारा उद्धृत कागज के पृष्ठ 2 देखें। $K(x_i, x_j)$

— अमीबा का कहना है कि मोनिका