कर्नेल लॉजिस्टिक रिग्रेशन बनाम एसवीएम

जैसा कि सभी जानते हैं, एसवीएम कर्नेल विधि का उपयोग डेटा पॉइंट्स को उच्च स्थानों में प्रोजेक्ट करने के लिए कर सकते हैं ताकि पॉइंट्स को एक रैखिक स्थान से अलग किया जा सके। लेकिन कर्नेल स्पेस में इस सीमा को चुनने के लिए हम लॉजिस्टिक रिग्रेशन का भी उपयोग कर सकते हैं, तो SVM के क्या फायदे हैं? चूंकि एसवीएम एक विरल मॉडल का उपयोग करता है, जिसमें केवल वे ही सपोर्ट करते हैं जो वैक्टर भविष्यवाणी करते समय योगदान देते हैं, क्या यह एसवीएम को भविष्यवाणी में तेज बनाता है?

svm

— FindBoat
स्रोत

हस्ती की स्लाइड्स हैं कि आप क्या देख रहे हैं

— यिबो यांग

जवाबों:

केएलआर और एसवीएम

दोनों मामलों में वर्गीकरण प्रदर्शन लगभग समान है।
केएलआर वर्ग संभाव्यता प्रदान कर सकता है जबकि एसवीएम एक नियतात्मक क्लासिफायरियर है।
केएलआर का मल्टी-क्लास वर्गीकरण के लिए एक प्राकृतिक विस्तार है जबकि एसवीएम में, मल्टी-क्लास वर्गीकरण में इसे विस्तारित करने के कई तरीके हैं (और यह अभी भी शोध का क्षेत्र है कि क्या कोई ऐसा संस्करण है, जिसमें दूसरों के मुकाबले बेहतर गुण हैं)।
आश्चर्यजनक रूप से या आश्चर्यजनक रूप से, KLR में भी इष्टतम मार्जिन गुण हैं जो SVMs का आनंद लेते हैं (कम से कम सीमा में अच्छी तरह से)!

उपरोक्त को देखते हुए यह लगभग ऐसा लगता है जैसे कर्नेल लॉजिस्टिक रिग्रेशन है जो आपको उपयोग करना चाहिए। हालांकि, कुछ फायदे हैं जो एसवीएम का आनंद लेते हैं

$O(N^3)$ $O(N^2k)$ $k$
एसवीएम में क्लासिफायर को इस तरह से डिज़ाइन किया गया है कि इसे केवल समर्थन वैक्टर के संदर्भ में परिभाषित किया गया है, जबकि केएलआर में, क्लासिफायर को सभी बिंदुओं पर परिभाषित किया गया है, न कि केवल सहायक वैक्टरों पर। यह एसवीएम को कुछ प्राकृतिक गति-अप (कुशल कोड-लेखन के संदर्भ में) का आनंद लेने की अनुमति देता है जो कि केएलआर के लिए प्राप्त करना कठिन है।

— TenaliRaman
स्रोत

+1 मैं केवल यह जोड़ना चाहूंगा कि यदि कम्प्यूटेशनल जटिलता एक मुद्दा है, तो प्रशिक्षण सेट, या अन्य दृष्टिकोणों पर नियमित नुकसान को कम करने के लिए आधार वैक्टर का चयन करके लालची कर्नेल लॉजिस्टिक प्रतिगमन मॉडल का निर्माण करना बहुत मुश्किल नहीं है। उदाहरण के लिए "सूचनात्मक वेक्टर मशीन" पर कागजात देखें।

— डिक्रान मार्सुपियल

इसके अलावा, काफी बार अगर आप एक SVM के कर्नेल और नियमितीकरण मापदंडों को अनुकूलित करते हैं, तो आप एक मॉडल के साथ समाप्त होते हैं, जहां लगभग सभी डेटा वैक्टर का समर्थन करते हैं। एसवीएम की विरलता एक सुखद दुर्घटना है, यह वास्तव में तकनीक का एक अच्छा विक्रय बिंदु नहीं है क्योंकि आम तौर पर अन्य तरीकों से अधिक स्पार्सिटी प्राप्त करना संभव है।

— डिक्रान मार्सुपियल

@DikranMarsupial सूचक के लिए जानकारीपूर्ण वेक्टर मशीन के लिए धन्यवाद। मैं Sparse KLR में कुछ कार्यों के बारे में जानता हूं, लेकिन अभी तक मुझे नहीं लगता कि उनमें से कोई भी बड़े डेटासेट के लिए अच्छा है। किसी भी तरह से विरल KLR का एक अच्छा कार्यान्वयन जारी करना जो कि उपयोगकर्ता के अनुकूल है जैसे libSVM या SVM लाइट इसके अपनाने में एक लंबा रास्ता तय कर सकता है। माफी अगर इस तरह के कार्यान्वयन पहले से मौजूद हैं, हालांकि मुझे किसी के बारे में पता नहीं है। (EDIT: मुझे लगता है कि आपका मतलब "इंफॉर्मेटिव वेक्टर मशीन" के बजाय "इंपोर्ट वेक्टर मशीन" है?)

— तेनालीरामन

यदि आप समर्थन वैक्टर के रूप में सभी डेटा बिंदुओं के साथ समाप्त हो रहे हैं, तो आप अधिक उपयुक्त हैं। ऐसा आरबीएफ के साथ कई बार होता है। वास्तव में, एसवीएम के एक उपयोगकर्ता के रूप में मैंने जो मौलिक चीज सीखी है, वह सबसे पहले और सबसे महत्वपूर्ण बिंदुओं के अंश को सपोर्ट वैक्टर के रूप में चुना गया है। यदि यह 30% से अधिक डेटा है, तो मैं उस मॉडल को एकमुश्त अस्वीकार करता हूं।

— तेनालीरामन

यह सही नहीं है कि एसवी होने के सभी डेटा पॉइंट का मतलब ओवर-फिटिंग है। यदि C का मान छोटा है, तो स्लैक वैरिएबल्स पर थोड़ा जुर्माना है तो आपके पास एक बहुत ही दोषपूर्ण क्लासिफायरियर हो सकता है (जो प्रशिक्षण सेट पर कई त्रुटियां करता है) और मार्जिन इतना चौड़ा है कि सभी डेटा सपोर्ट वैक्टर हैं। गैर-विरल मॉडल को अस्वीकार करना अंगूठे का एक अच्छा नियम नहीं है क्योंकि कभी-कभी सर्वश्रेष्ठ सामान्यीकरण प्रदर्शन वाला एसवीएम गैर-विरल होता है। एसवी की संख्या छुट्टी-एक-आउट त्रुटि पर एक ऊपरी बाध्य है, लेकिन यह अक्सर वास्तव में एक बहुत ही सीमित बाध्यता है!

— डिक्रान मार्सुपियल

यहाँ इस मुद्दे पर मेरी ले लो:

एसवीएम वर्गीकरण करने का एक बहुत ही सुंदर तरीका है। कुछ अच्छे सिद्धांत हैं, कुछ सुंदर गणित हैं, वे अच्छी तरह से सामान्य करते हैं, और वे बहुत धीमी गति से भी नहीं हैं। उन्हें प्रतिगमन के लिए उपयोग करने का प्रयास करें, और यह गड़बड़ हो जाता है।

यहाँ SVM प्रतिगमन पर एक संसाधन है । अनुकूलन एल्गोरिदम के बारे में गहनता और गहन चर्चा के लिए अतिरिक्त मापदंडों को नोटिस करें।

गॉसियन प्रोसेस रिग्रेशन में बहुत ही केर्नेली गणित है, और यह प्रतिगमन के लिए बहुत अच्छा काम करता है। फिर से, बहुत सुंदर है, और यह बहुत धीमा नहीं है। उन्हें वर्गीकरण के लिए उपयोग करने का प्रयास करें, और यह बहुत ही कर्कश लग रहा है।

यहाँ प्रतिगमन पर जीपी पुस्तक से एक अध्याय है।
तुलना के लिए वर्गीकरण पर एक अध्याय यहाँ दिया गया है। ध्यान दें कि आप कुछ जटिल सन्निकटन या पुनरावृत्त विधि के साथ समाप्त होते हैं।

वर्गीकरण के लिए जीपी का उपयोग करने के बारे में एक अच्छी बात, हालांकि, यह है कि यह आपको एक साधारण हां / नहीं वर्गीकरण के बजाय एक पूर्वानुमान वितरण प्रदान करता है।

— स्टम्पी जो पीट
स्रोत

+1 GPs KLR का एक अच्छा विकल्प है (हालाँकि KLR अक्सर बेहतर प्रदर्शन देता है क्योंकि साक्ष्य आधारित मॉडल का चयन मॉडल के गलत विनिर्देश होने पर काफी आसानी से गलत हो सकता है) और क्रॉस-सत्यापन अक्सर बेहतर होता है।

— डिक्रान मार्सुपियल

कृपया http://www.stanford.edu/~hastie/Papers/svmtalk.pdf पर जाएं

कुछ निष्कर्ष: क्लासी lus केशन प्रदर्शन बहुत समान है। इष्टतम मार्जिन गुणों को सीमित कर रहा है। वर्ग संभावनाओं का अनुमान प्रदान करता है। अक्सर ये क्लासी are उद्धरणों की तुलना में अधिक उपयोगी होते हैं। एम-क्लास क्लासी i केशन के लिए स्वाभाविक रूप से कर्नेल मल्टी-लॉगिट रिग्रेशन के माध्यम से सामान्य करता है।

— pockeystar
स्रोत