क्या सपोर्ट वेक्टर मशीन विशेषताओं के बीच सहसंबंध के प्रति संवेदनशील है?

Question

मैं 20 विशेषताओं के आधार पर मामलों (TRUE / FALSE) को वर्गीकृत करने के लिए एक SVM को प्रशिक्षित करना चाहूंगा। मुझे पता है कि उनमें से कुछ विशेषताएँ अत्यधिक सहसंबद्ध हैं। इसलिए मेरा सवाल है: सुविधाओं के बीच एसवीएम सहसंबंध या अतिरेक के प्रति संवेदनशील है? कोई संदर्भ?

Comments

मेरा अनुमान नहीं है, क्योंकि एक चर के आधार पर एक अलगाव उत्पन्न करने से दूसरे सहसंबंधी चर और अधिक अलगाव के संबंध में कमजोर हो जाएंगे। हालाँकि, किस चर को चुना गया है, इसके बारे में कुछ अस्थिरता हो सकती है।

— मंडाटा

आप एक रैखिक SVM, या RBF कर्नेल के बारे में बात कर रहे हैं, या ...?

— डगल

हम्म्म्म, मुझे नहीं पता ... क्या जवाब उस पर निर्भर करता है?

— user7064

हाँ बिल्कुल। यदि आप चाहें, तो आप स्पष्ट रूप से सहसंबंधों से निपटने के लिए एक कर्नेल डिज़ाइन कर सकते हैं।

— डगल

@ डगल: यदि सहसंबंध के प्रभाव को खत्म करने के तरीके हैं, तो क्या इसका मतलब यह नहीं है कि मानक एसवीएम सहसंबंध के प्रति संवेदनशील है?

— cfh

Answer 1

रैखिक कर्नेल: यहाँ प्रभाव रैखिक प्रतिगमन में बहुसंस्कृति के समान है। आपका सीखा मॉडल प्रशिक्षण सेट में छोटे बदलावों के खिलाफ विशेष रूप से स्थिर नहीं हो सकता है, क्योंकि विभिन्न वजन वाले वैक्टर में समान आउटपुट होंगे। प्रशिक्षण सेट भविष्यवाणियां, हालांकि, काफी स्थिर होगी, और यदि वे समान वितरण से आते हैं, तो भविष्यवाणियों का परीक्षण करेंगे।

RBF कर्नेल: RBF कर्नेल केवल डेटा बिंदुओं के बीच की दूरी को देखता है। इस प्रकार, कल्पना करें कि आपके पास वास्तव में 11 विशेषताएँ हैं, लेकिन उनमें से एक को 10 बार दोहराया जाता है (एक बहुत चरम मामला)। फिर उस दोहराया विशेषता किसी भी अन्य विशेषता के रूप में दूरी के रूप में 10 गुना योगदान देगा, और सीखा मॉडल संभवतः उस सुविधा से बहुत अधिक प्रभावित होगा।

RBF कर्नेल के साथ सहसंबंधों को छूट देने का एक सरल तरीका महालनोबिस दूरी का उपयोग करना है: , जहां एक है नमूना सहसंयोजक मैट्रिक्स का अनुमान। समान रूप से, अपने सभी वैक्टर को मैप करें और फिर नियमित RBF कर्नेल का उपयोग करें, जहां ऐसा है कि , उदाहरण के लिए के चोल्स्की अपघटन ।$d(x, y) = \sqrt{ (x - y)^T S^{-1} (x - y) }$$S$$x$$C x$$C$$S^{-1} = C^T C$$S^{-1}$

Comments

यह एक बहुत ही दिलचस्प जवाब है; मैं इस तरह की समस्याओं को कम करने के तरीके के बारे में अधिक पढ़ना चाहता हूं। क्या आप एक संदर्भ या दो जोड़ सकते हैं?

— साइकोरैक्स का कहना है कि मोनिका

मैं एक अच्छा ऑफ-हैंड नहीं जानता, लेकिन मैं आज रात एक के लिए एक बिट के चारों ओर देखूंगा।

— डगल

बहुत बढ़िया! यदि आप एक शांत लेख खोजने के लिए मुझे इनबॉक्स करते हैं। मुझे खुशी है कि मेरी (+1) आपको 3k से अधिक लगा सकती है। (-:

— साइकोरैक्स का कहना है कि मोनिका

महालनोबिस दूरी में सहसंयोजक मैट्रिक्स का विलोम एक कुंजी है। यदि आप इसका विश्वसनीय रूप से अनुमान लगा सकते हैं, तो इस प्रभाव का हिसाब लगाया जा सकता है।

— व्लादिस्लाव डोभाल ने