लॉजिस्टिक रिग्रेशन और सपोर्ट वेक्टर मशीनों के बीच अंतर?

Question

मुझे पता है कि लॉजिस्टिक रिग्रेशन एक हाइपरप्लेन का पता लगाता है जो प्रशिक्षण के नमूनों को अलग करता है। मुझे यह भी पता है कि सपोर्ट वेक्टर मशीनें हाइपरप्लेन को अधिकतम मार्जिन के साथ ढूंढती हैं।

मेरा प्रश्न: अंतर है तो लॉजिस्टिक रिग्रेशन (LR) और सपोर्ट वेक्टर मशीन (SVM) के बीच का अंतर यह है कि LR कोई हाइपरप्लेन खोजता है जो प्रशिक्षण के नमूने को अलग करता है जबकि SVM अधिकतम मार्जिन वाला हाइपरप्लेन खोजता है? या मैं गलत हूँ?

$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Comments

इन्हें भी देखें: सांख्यिकी.स्टैकएक्सचेंज.com

— रयान ज़ोटी

Answer 1

आप सही हैं यदि आप कठोर एसवीएम के बारे में बात कर रहे हैं और दो वर्ग रैखिक रूप से अलग हैं। LR किसी भी समाधान को ढूंढता है जो दो वर्गों को अलग करता है। हार्ड एसवीएम उन सभी संभावित लोगों के बीच "" समाधान ढूंढता है जिनमें अधिकतम मार्जिन है।

मुलायम एसवीएम और वर्गों के रैखिक रूप से अलग नहीं होने के मामले में, आप अभी भी एक मामूली संशोधन के साथ सही हैं। त्रुटि शून्य नहीं हो सकती। LR एक हाइपरप्लेन का पता लगाता है जो कुछ त्रुटि को कम करने से मेल खाता है। शीतल SVM त्रुटि (एक और त्रुटि) को कम करने की कोशिश करता है और एक ही समय में नियमितीकरण पैरामीटर के माध्यम से मार्जिन के साथ उस त्रुटि को बंद कर देता है।

दोनों के बीच एक अंतर: एसवीएम एक कठिन क्लासिफायरियर है, लेकिन एलआर एक संभाव्य है। एसवीएम विरल है। यह समर्थन वैक्टर (प्रशिक्षण नमूनों से) चुनता है जिसमें दो वर्गों के बीच सबसे अधिक भेदभावपूर्ण शक्ति होती है। चूँकि यह परीक्षण के समय अन्य प्रशिक्षण बिंदुओं को उससे आगे नहीं रखता है, इसलिए हमें किसी भी दो वर्गों के वितरण के बारे में कोई विचार नहीं है।

मैंने समझाया है कि दो वर्गों के रैखिक पृथक्करण के मामले में LR समाधान (IRLS का उपयोग करके) कैसे टूटता है और इस तरह के मामले में एक संभाव्य वर्गीकरणकर्ता बनना बंद हो जाता है: /stats//a/133292/66491

Comments

लॉजिस्टिक रिग्रेशन किस तरह के न्यूनतम वर्ग का अनुकूलन करता है? एलआर एक नुकसान के रूप में क्रॉस-एंट्रोपी का उपयोग करता है ।

— आर्टेम सोबोलेव

सिर्फ इसलिए कि लॉजिस्टिक रिग्रेशन IRLS का उपयोग करता है, जिसका मतलब यह नहीं है कि यह कम से कम वर्ग है - IRLS में पुन: लोड करना मापदंडों के वर्तमान अनुमान का एक फ़ंक्शन है, जिससे वास्तविक फ़ंक्शन को कम से कम वर्गों से काफी अलग अनुकूलित किया जा सकता है।

— Glen_b -Reinstate मोनिका

संक्षेप, एसवीएम एलआर का एक उन्नत संस्करण है, क्योंकि यह हाइपरप्लेन को अधिकतम मार्जिंग के साथ पाता है जबकि एलआर केवल एक (यादृच्छिक बोलते हैं?) हाइपरप्लेन ढूंढता है। क्या आप इस सारांश से सहमत हैं?

— LandonZeKepitelOfGreytBritn