एसवीएम और लॉजिस्टिक रिग्रेशन की तुलना करना

37

क्या कोई कृपया मुझे कुछ अंतर्ज्ञान दे सकता है जब एसवीएम या एलआर को चुनना है? मैं दो के हाइपरप्लेन को सीखने के अनुकूलन मानदंड में अंतर के पीछे अंतरंगता को समझना चाहता हूं, जहां संबंधित उद्देश्य निम्नानुसार हैं:

एसवीएम: निकटतम समर्थन वैक्टर के बीच के मार्जिन को अधिकतम करने का प्रयास करें
LR: पश्चगामी वर्ग की संभावना को अधिकतम करें

आइए एसवीएम और एलआर दोनों के लिए रैखिक सुविधा स्थान पर विचार करें।

कुछ अंतर जो मुझे पहले से पता हैं:

एसवीएम नियतात्मक है (लेकिन हम संभाव्यता स्कोर के लिए प्लैट्स मॉडल का उपयोग कर सकते हैं) जबकि एलआर संभाव्य है।
कर्नेल स्थान के लिए, SVM तेज़ है (स्टोर केवल वैक्टर का समर्थन करते हैं)

— user41799
स्रोत

2

यह कथन गलत है: " LR: पोस्टीरियर क्लास संभावना को अधिकतम करें "। लॉजिस्टिक प्रतिगमन संभावना को अधिकतम करता है, न कि कुछ पश्च घनत्व। बायसियन लॉजिस्टिक रिग्रेशन एक अलग कहानी है, लेकिन आपको इसके बारे में विशिष्ट होने की आवश्यकता है यदि आप इसका उल्लेख कर रहे हैं।

— डिगियो

30

रैखिक एसवीएम और लॉजिस्टिक प्रतिगमन आमतौर पर व्यवहार में तुलनात्मक रूप से प्रदर्शन करते हैं। यदि आपके पास यह विश्वास करने का कारण है कि आपके डेटा को रैखिक रूप से अलग नहीं किया जाएगा (या आपको एलआर की तुलना में आउटलेर के लिए अधिक मजबूत होने की आवश्यकता होगी, तो एसवीएम का उपयोग न करें)। अन्यथा, बस पहले लॉजिस्टिक रिग्रेशन का प्रयास करें और देखें कि आप उस सरल मॉडल के साथ कैसे करते हैं। यदि लॉजिस्टिक रिग्रेशन आपको विफल करता है, तो एक आरएमएफ जैसे गैर-रैखिक कर्नेल के साथ एक एसवीएम का प्रयास करें।

संपादित करें:

ठीक है, चलो इस बारे में बात करते हैं कि उद्देश्य कार्य कहाँ से आते हैं

लॉजिस्टिक प्रतिगमन सामान्यीकृत रैखिक प्रतिगमन से आता है। इस संदर्भ में लॉजिस्टिक रिग्रेशन ऑब्जेक्टिव फंक्शन की एक अच्छी चर्चा यहाँ देखी जा सकती है: https://stats.stackexchange.com/a/29326/8451

सपोर्ट वेक्टर मशीन एल्गोरिदम बहुत अधिक ज्यामितीय रूप से प्रेरित है । एक संभाव्य मॉडल मानने के बजाय, हम एक विशेष इष्टतम अलग हाइपरप्लेन खोजने की कोशिश कर रहे हैं, जहां हम समर्थन वैक्टर के संदर्भ में "इष्टतमता" को परिभाषित करते हैं। हमारे पास लॉजिस्टिक प्रतिगमन में उपयोग किए जाने वाले सांख्यिकीय मॉडल के समान कुछ भी नहीं है, भले ही रैखिक मामला हमें समान परिणाम देगा: वास्तव में इसका मतलब है कि लॉजिस्टिक प्रतिगमन "वाइड मार्जिन" क्लासिफायर का उत्पादन करने का एक बहुत अच्छा काम करता है, क्योंकि वह है सभी एसवीएम करने की कोशिश कर रहा है (विशेष रूप से, एसवीएम वर्गों के बीच के अंतर को "अधिकतम" करने की कोशिश कर रहा है)।

मैं बाद में इस पर वापस आने की कोशिश करूँगा और मातम में थोड़ा गहरा हो जाऊंगा, मैं बस किसी चीज़ के बीच में हूँ: p

— डेविड मार्क्स
स्रोत

1

लेकिन यह अभी भी मेरे सवाल का जवाब नहीं देता है कि एसवीएम वी / एस एलआर के उद्देश्य कार्यों में सहज अंतर क्या है, जो निम्नानुसार हैं: (ए) एसवीएम: निकटतम समर्थन वैक्टर (बी) एलआर के बीच मार्जिन को अधिकतम करने का प्रयास करें: पश्चगामी वर्ग संभाव्यता को अधिकतम करें

— user41799

मेरा मतलब है, यह एक पूरी तरह से अलग सवाल है। क्या आप मॉडल का उपयोग करने के बारे में पूछ रहे हैं, या उनके उद्देश्य कार्यों के रूप को क्या प्रेरित करता है?

— डेविड मार्क्स

1

मुझे इस बात में अधिक दिलचस्पी है कि उनके उद्देश्य कार्यों के रूप को क्या प्रेरित करता है

— user41799

4

मैं बाद में इस पर वापस आने की कोशिश करूँगा और मातम में थोड़ा और गहरा हो

— जाऊंगा

23

छवि एसवीएम और लॉजिस्टिक रिग्रेशन के बीच अंतर को इंगित करती है और किस विधि का उपयोग करना है

यह चित्र एंड्रयू एनजी द्वारा "मशीन लर्निंग" के पाठ्यक्रम से आता है। यह सप्ताह के अंत में 7 में पाया जा सकता है: "वेक्टर मशीनों का समर्थन करें - एक एसवीएम का उपयोग करके"

— JSONParser
स्रोत

"सुविधाओं" से, क्या आप विशिष्ट विशेषताओं की संख्या या उन विशेषताओं से संबंधित अनन्य मानों की कुल संख्या से मतलब रखते हैं?

— अहमदोव

उदाहरण: रबर की कीमत की भविष्यवाणी में, एक विशेषता पेट्रोल की कीमत एक मौसम आदि है ...

— JSONParser

दरअसल, छवि उनके मतभेदों के बारे में कुछ नहीं कहती है ...

— जान कुक्कैका

अंतर गलत हो सकता है शब्द तुलना बेहतर हो सकती है

— JSONParser

1

एलआर कैलिब्रेटेड संभावनाएं देता है जिन्हें किसी निर्णय में विश्वास के रूप में व्याख्या किया जा सकता है।
LR हमें एक निर्विवाद, निर्विघ्न उद्देश्य देता है।
एलआर बायेसियन मॉडल के भीतर (सीधे) इस्तेमाल किया जा सकता है।
SVM ऐसे उदाहरणों को दंडित नहीं करते जिनके लिए सही निर्णय पर्याप्त आत्मविश्वास के साथ किया जाता है। यह सामान्यीकरण के लिए अच्छा हो सकता है।
कर्नेल चाल (बेहतर स्केलेबिलिटी) का उपयोग करते समय एसवीएम का एक अच्छा दोहरा रूप होता है, विरल समाधान देता है

केविन स्वार्स्की द्वारा लॉजिस्टिक रिग्रेशन बनाम लॉजिस्टिक रिग्रेशन, टोरंटो सीएससी 2515 विश्वविद्यालय की जाँच करें ।

— चनक पाठक
स्रोत