SVM से परिवर्तनीय महत्व

32

एसवीएम का उपयोग करके एक चर (विशेषता) महत्व कैसे प्राप्त करें?

machine-learning feature-selection svm

19

यदि आप वजन वेक्टर पर एल -1 दंड का उपयोग करते हैं, तो यह स्वचालित सुविधा का चयन करता है क्योंकि अप्रासंगिक विशेषताओं के अनुरूप वजन स्वचालित रूप से शून्य पर सेट होता है। इस कागज को देखें । प्रत्येक गैर-शून्य भार का (पूर्ण) परिमाण संबंधित विशेषता के महत्व के बारे में एक विचार दे सकता है।

इस पेपर को भी देखें जो विशेषता चयन को निर्देशित करने के लिए एसवीएम से प्राप्त मानदंडों का उपयोग करता है।

— ebony1
स्रोत

1

क्या उन एलगोस में से किसी एक को आर या अन्य सॉफ्टवेयर में लागू किया गया है?

— जॉर्ज डोंटास

5

हाँ, R पेनल्टीज़्ड SVM पैकेज पर एक नज़र डालें। ब्याज के अन्य पैकेज हैं: दंडित, इलास्टिक, पीपीएल, लार्स, या अधिक सामान्यतः: cran.r-project.org/web/views/MachineLearning.html

— chl

7

इसाबेल गयोन, आंद्रे एलिसेफ़, "ए इंट्रोडक्शन टू वरीएबल एंड फ़ीचर सिलेक्शन", जेएमएलआर, 3 (मार्च): 1157-1182, 2003. http://jmlr.csail.mit.edu/papers-v3/guyon03a.html

अच्छी तरह से पढ़ने लायक है, यह दृष्टिकोण और मुद्दों का एक अच्छा अवलोकन देगा। एक बात जो मैं जोड़ूंगा, वह यह है कि फीचर का चयन जरूरी नहीं कि भविष्यवाणिय प्रदर्शन को बेहतर बनाता है, और इसे आसानी से बदतर बना सकता है (क्योंकि सुविधा चयन मानदंड को ओवर-फिट करना आसान है)। (विशेष रूप से रैखिक) एसवीएम के फायदों में से एक यह है कि वे बड़ी संख्या में सुविधाओं के साथ अच्छी तरह से काम करते हैं (आपको नियमित रूप से नियमित पैरामीटर को ट्यून प्रदान करते हैं), इसलिए अक्सर कोई आवश्यकता नहीं होती है यदि आप केवल भविष्यवाणी में रुचि रखते हैं।

— डिक्रान मार्सुपियल
स्रोत

2

मैं यहां तक कि I. किताब और गायकों से पूरी किताब की सिफारिश करूंगा , j.mp/anblwx । Hastie et al।, J.mp/bW3Hr4 से ESL पुस्तक , इस 'हॉट' विषय पर दिलचस्प चर्चा भी करती है।

— chl

मैं आपके दावे से असहमत हूं; एफएस कुछ व्याख्यात्मक जानकारी के लिए अपने आप में दिलचस्प है जो इसे वितरित करता है (मार्कर / एसएनपी चयन एक उदाहरण है जब यह विश्लेषण का मुख्य उद्देश्य है)। सुविधा चयन ओवरफिट एक समस्या है, लेकिन इसे छोड़ने के तरीके हैं।

मैं यह बात कर रहा था कि एफएस जरूरी भविष्य कहनेवाला महत्व में सुधार नहीं करता है, और इसे बदतर बना सकता है। यदि जानकारीपूर्ण सुविधाओं को खोजना आंतरिक महत्व का है, तो निश्चित रूप से एफएस का उपयोग किया जाना चाहिए, लेकिन यह अच्छी तरह से हो सकता है कि सुविधा चयन मानदंड होने पर ओवर-फिटिंग की जाती है (जो कि बल्कि आसानी से होता है)। सूक्ष्म-सरणी विश्लेषण जैसे कार्यों के लिए, मैं भविष्यवाणियों के लिए रिज (बैगेज) रिज रिग्रेशन और मुख्य विशेषताओं को निर्धारित करने के लिए LASSO (जीव विज्ञान की समझ हासिल करने के लिए) का उपयोग करूंगा। एक ही मॉडल में दोनों करने की आवश्यकता नहीं है।

— डिक्रान मार्सुपियल

1

यदि आप R का उपयोग करते हैं, तो चर महत्व rminer पैकेज में महत्व विधि के साथ गणना की जा सकती है। यह मेरा नमूना कोड है:

library(rminer)
M <- fit(y~., data=train, model="svm", kpar=list(sigma=0.10), C=2)
svm.imp <- Importance(M, data=train)

विस्तार से, नीचे दिए गए लिंक https://cran.r-project.org/web/packages/rminer/rminer.pdf का संदर्भ लें

— तकाशी कनाड़ा
स्रोत

2

यह उत्तर अधूरा है। यह वर्णन नहीं करता है कि उस पैकेज में चर का क्या महत्व है जो संवाद करने की कोशिश कर रहा है।

— मैथ्यू ड्र्यू

मैंने नमूना कोड

— ताकाशी कान्दा