समर्थन वैक्टर की संख्या और सुविधाओं की संख्या के बीच संबंध

Question

मैंने एक दिए गए डेटा सेट के खिलाफ एक एसवीएम चलाया, और निम्नलिखित अवलोकन किया: यदि मैं क्लासिफायरफायर के निर्माण की सुविधाओं की संख्या में परिवर्तन करता हूं, तो परिणामी समर्थन वैक्टर की संख्या भी बदल जाएगी।

मैं जानना चाहूंगा कि इस तरह के परिदृश्य को कैसे समझा जाए।

Comments

उन अतिरिक्त विशेषताओं का प्रकार और शैली क्या थी? जहां वे मौजूदा सुविधाओं के समान रूप या किसी और ताजा सुविधाओं को देखते हैं, जो आपने सोचा था कि अतिरिक्त संकल्प शक्ति हो सकती है?

— फिलिप ओकले

यह एक दस्तावेज़ वर्गीकरण समस्या है, और अतिरिक्त विशेषताएं सिर्फ शब्द हैं। मैंने फीचर स्पेस बनाने के लिए यूनीग्राम का इस्तेमाल किया।

— 13:32 बजे user3269

@ Marc के उत्तर को देखते हुए, जिसने परिवर्तन किया, क्या वैक्टर की संख्या सुविधाओं की संख्या या रिवर्स के साथ बढ़ी।

— फिलिप ओकले

@Phillip, मेरी मूल प्रतिक्रिया गलत थी। मुझे लगता है कि संपादित उत्तर अब सटीक है।

— मार्क

Answer 1

यदि आप एसवीएम हल करने वाली अनुकूलन समस्या को देखते हैं:

$\min_{\mathbf{w},\mathbf{\xi}, b } \left\{\frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i \right\}$

st सभी के लिए$y_i(\mathbf{w}\cdot\mathbf{x_i} - b) \ge 1 - \xi_i, ~~~~\xi_i \ge 0,$$i=1,\dots n$

समर्थन वैक्टर उन जहां संबंधित । दूसरे शब्दों में, वे डेटा पॉइंट हैं जो या तो मिसकॉलिफ़ाइड हैं, या सीमा के करीब हैं।$x_i$$\xi_i \gt 0$

अब इस समस्या के समाधान की तुलना तब करते हैं जब आपके पास सुविधाओं का एक पूरा सेट होता है, उस स्थिति में जहां आप कुछ सुविधाओं को फेंक देते हैं। फीचर को दूर रखना कार्यात्मक रूप से फीचर को बनाए रखने के बराबर है, लेकिन फीचर लिए एक जोड़ना जिसे हम त्यागना चाहते हैं। $w_j=0$$j$

जब आप इन दो अनुकूलन समस्याओं की तुलना करते हैं, और गणित के माध्यम से काम करते हैं, तो यह पता चलता है कि सुविधाओं की संख्या और समर्थन वैक्टर की संख्या के बीच कोई कठिन संबंध नहीं है। कुछ भी हो सकता था।

एक साधारण मामले के बारे में सोचना उपयोगी है। एक 2-मंद मामले की कल्पना करें, जहां आपकी नकारात्मक और सकारात्मक विशेषताएं क्रमशः (-1, -1) और (1,1) के आसपास घुलमिल जाती हैं, और 3 समर्थन वाले वैक्टर के साथ हाइपरप्लेन को अलग करने वाले विकर्ण के साथ अलग होती हैं। अब y- अक्ष सुविधा को छोड़ने की कल्पना करें, इसलिए अब आपका डेटा x- अक्ष पर अनुमानित है। यदि डेटा अभी भी वियोज्य हैं, तो x = 0 पर कहें, आपको संभवतः केवल 2 समर्थन वैक्टर के साथ छोड़ दिया जाएगा, प्रत्येक पक्ष पर एक, इसलिए y-सुविधा को जोड़ने से समर्थन वैक्टर की संख्या बढ़ जाएगी। हालाँकि, यदि डेटा अब अलग नहीं होते हैं, तो आपको प्रत्येक बिंदु के लिए कम से कम एक समर्थन वेक्टर मिलेगा जो कि x = 0 के गलत पक्ष पर है, जिस स्थिति में y-सुविधा को जोड़ने से समर्थन वैक्टर की संख्या कम हो जाएगी।

इसलिए, यदि यह अंतर्ज्ञान सही है, यदि आप बहुत ही उच्च-आयामी सुविधा वाले स्थानों में काम कर रहे हैं, या एक कर्नेल का उपयोग कर रहे हैं जो उच्च आयामी सुविधा वाले स्थान पर मैप करता है, तो आपका डेटा अलग होने की संभावना है, इसलिए एक सुविधा को जोड़ना होगा बस एक और समर्थन वेक्टर जोड़ने के लिए। हालांकि, यदि आपका डेटा वर्तमान में वियोज्य नहीं है, और आप एक ऐसी सुविधा जोड़ते हैं, जो वियोज्यता में काफी सुधार करती है, तो आपको समर्थन वैक्टर की संख्या में कमी देखने की अधिक संभावना है।