मानक PCA पर कर्नेल PCA के क्या लाभ हैं?


18

मैं एक पेपर में एक एल्गोरिथ्म को लागू करना चाहता हूं जो डेटा मैट्रिक्स को विघटित करने के लिए कर्नेल SVD का उपयोग करता है। इसलिए मैं कर्नेल विधियों और कर्नेल पीसीए आदि के बारे में सामग्री पढ़ रहा हूं, लेकिन यह अभी भी मेरे लिए बहुत अस्पष्ट है, खासकर जब यह गणितीय विवरण की बात आती है, और मेरे पास कुछ प्रश्न हैं।

  1. कर्नेल तरीके क्यों? या, कर्नेल विधियों के क्या लाभ हैं? सहज उद्देश्य क्या है?

    क्या यह मान लिया गया है कि वास्तविक दुनिया की समस्याओं में अधिक उच्च आयामी स्थान अधिक यथार्थवादी है और गैर-कर्नेल विधियों की तुलना में डेटा में ग़ैर-संबंध स्थापित करने में सक्षम है? सामग्रियों के अनुसार, कर्नेल विधियाँ डेटा को एक उच्च-आयामी सुविधा स्थान पर प्रोजेक्ट करती हैं, लेकिन उन्हें नए फ़ीचर स्पेस को स्पष्ट रूप से गणना करने की आवश्यकता नहीं होती है। इसके बजाय, यह सुविधा के अंतरिक्ष में सभी जोड़े डेटा बिंदुओं की छवियों के बीच केवल आंतरिक उत्पादों की गणना करने के लिए पर्याप्त है। तो क्यों एक उच्च आयामी अंतरिक्ष पर पेश?

  2. इसके विपरीत, SVD फीचर स्पेस को कम करता है। वे इसे अलग-अलग दिशाओं में क्यों करते हैं? कर्नेल तरीके उच्च आयाम चाहते हैं, जबकि एसवीडी कम आयाम चाहता है। मेरे लिए उन्हें गठबंधन करना अजीब लगता है। मैं जिस पेपर को पढ़ रहा हूं, उसके अनुसार ( सिमोनिडिस एट अल। 2010 ), एसवीडी के बजाय कर्नेल एसवीडी को पेश करना डेटा में स्पार्सिटी की समस्या को दूर कर सकता है, जिससे परिणाम में सुधार हो सकता है।

यहाँ छवि विवरण दर्ज करें

आंकड़े में तुलना से हम देख सकते हैं कि केपीसीए को पीसीए की तुलना में उच्च विचरण (आइगेनवैल्यू) के साथ एक आइजनवेक्टर मिलता है, मुझे लगता है? चूँकि eigenvector (नए निर्देशांक) पर अंकों के अनुमानों के सबसे बड़े अंतर के लिए, KPCA एक वृत्त है और PCA एक सीधी रेखा है, इसलिए KPCA PCA की तुलना में अधिक विचरण करता है। तो क्या इसका मतलब है कि केपीसीए को पीसीए से अधिक प्रमुख घटक मिलते हैं?


3
उत्तर की तुलना में अधिक टिप्पणी: KPCA स्पेक्ट्रल क्लस्टरिंग के समान है - कुछ सेटिंग्स में यह समान है। (देखें उदाहरण cirano.qc.ca/pdf/publication/2003s-19.pdf )।

देर से उत्तर के लिए क्षमा करें। हां, आपका जवाब बहुत ही ज्ञानवर्धक है।
टायलर 来 傲 yl

जवाबों:


24

पीसीए (एक आयामी कमी तकनीक के रूप में) एक कम-आयामी रैखिक उप-स्थान को खोजने की कोशिश करता है जो डेटा तक सीमित हैं। लेकिन यह हो सकता है कि डेटा कम-आयामी nonlinear उप -क्षेत्र तक ही सीमित हो । तब क्या होगा?

इस चित्र पर एक नज़र डालें, बिशप की "पैटर्न मान्यता और मशीन लर्निंग" पाठ्यपुस्तक (चित्र 12.16) से लिया गया है:

बिशप की एमएल पुस्तक से कर्नेल पीसीए

डेटा बिंदु यहां (बाईं ओर) अधिकतर 2 डी में वक्र के साथ स्थित हैं। पीसीए दो से एक तक की गतिशीलता को कम नहीं कर सकता है, क्योंकि अंक एक सीधी रेखा के साथ स्थित नहीं हैं। लेकिन फिर भी, डेटा "स्पष्ट रूप से" एक आयामी गैर-रैखिक वक्र के आसपास स्थित हैं। तो जब पीसीए विफल हो जाता है, तो एक और तरीका होना चाहिए! और वास्तव में, कर्नेल पीसीए इस गैर-रेखीय मैनिफोल्ड को खोज सकता है और पता लगा सकता है कि डेटा वास्तव में लगभग एक आयामी है।

यह डेटा को उच्च-आयामी स्थान में मैप करके ऐसा करता है। यह वास्तव में एक विरोधाभास (आपका प्रश्न # 2) जैसा लग सकता है, लेकिन ऐसा नहीं है। डेटा को उच्च-आयामी स्थान में मैप किया जाता है, लेकिन फिर इसके निचले आयामी उप-स्थान पर लेटने के लिए निकलता है। तो आप इसे कम करने में सक्षम होने के लिए आयामीता में वृद्धि करते हैं।

"कर्नेल ट्रिक" का सार यह है कि किसी को वास्तव में उच्च-आयामी स्थान पर स्पष्ट रूप से विचार करने की आवश्यकता नहीं है, इसलिए इस संभावित रूप से भ्रमित छलांग को पूरी तरह से अंडरकवर किया जाता है। हालाँकि, विचार समान है।


अच्छा उत्तर। बस एक अनुवर्ती सवाल है। आपने कहा कि यदि डेटा बिंदु गैर-रैखिक हैं जैसा कि ऊपर चित्र में दिखाया गया है तो पीसीए काम नहीं करेगा और पीसीए की आवश्यकता है। लेकिन हम पहली बार में कैसे जानते हैं कि यदि डेटा बिंदु डेटा सेट के लिए गैर रेखीय हैं जिसमें 4 से अधिक विशेषताएं हैं (वास्तविक दुनिया का मामला)। ऐसे डेटा की कल्पना करने के लिए हमें आयामीता को कम करने की आवश्यकता है जिसका अर्थ है कि हम गतिशीलता को कम करने के लिए पीसीए का उपयोग कर रहे हैं जो गलत होगा क्योंकि डेटा गैर रेखीय हो सकता है और हम कल्पना करने के लिए सामान्य पीसीए का उपयोग करते हैं। फिर किसी को कैसे पता चलता है कि पीसीए के बजाय कर्नेल पीसीए का उपयोग करने के लिए डेटा गैर रेखीय है या नहीं
बकाटावर

धन्यवाद, @user। मुझे लगता है कि यह पीसीए / केपीसीए के आवेदन पर निर्भर करता है। उदाहरण के लिए, यदि इसे कुछ वर्गीकरण, प्रतिगमन या क्लस्टरिंग एल्गोरिथ्म के लिए प्रीप्रोसेसिंग चरण के रूप में लागू किया जाता है, तो कोई यह अनुमान लगा सकता है कि पीसीए बनाम केपीसीए कितनी अच्छी तरह से प्रदर्शन करता है और बाद में यह एल्गोरिथम प्रदर्शन करता है।
अमीबा का कहना है कि मोनिका

1
साभार @amoeba लेकिन मुझे लगता है कि मैं जो पूछना चाहता था, वह यह था कि जैसा कि आपने ऊपर उल्लेख किया है कि हमें केपीसीए का उपयोग करने की आवश्यकता है जब डेटा गैर रेखीय होता है, तो कैसे पता चलेगा कि डेटा में गैर-रेखाहीनता है यदि नहीं। सुविधाओं की तुलना में अधिक है 3 ?. हम यह कल्पना नहीं कर सकते कि आयामों तक पहुंचे और फिर यह चिकन और अंडे की समस्या की तरह है
बकाटावर

2
@ बकाटावर अगर आप मशीन लर्निंग कर रहे हैं, तो कल्पना न करें, अपने मॉडल को खुद सीखने दें। मूल रूप से अपने आंतरिक resampling लूप में KPCA कदम शामिल करें और कर्नेल को मापदंडों के रूप में परीक्षण करें, जिसमें रैखिक कर्नेल और आप चाहते हैं कि कोई भी अन्य व्यक्ति शामिल हो सकता है।
फायरबग
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.