एसवीएम और काज हानि के बीच क्या संबंध है?

Question

मेरे सहयोगी और मैं लॉजिस्टिक प्रतिगमन और एक एसवीएम के बीच के अंतर के आसपास हमारे सिर को लपेटने की कोशिश कर रहे हैं। स्पष्ट रूप से वे विभिन्न उद्देश्य कार्यों का अनुकूलन कर रहे हैं। एक SVM उतना ही सरल है जितना यह कहा जाता है कि यह एक विभेदक क्लासिफायरियर है जो बस काज हानि का अनुकूलन करता है? या यह उससे अधिक जटिल है? सपोर्ट वैक्टर खेलने में कैसे आते हैं? सुस्त चर के बारे में क्या? आपके पास गहरी एसवीएम नहीं है जिस तरह से आपके पास सिग्मॉइड सक्रियण कार्यों के साथ एक गहरा तंत्रिका नेटवर्क नहीं हो सकता है?

Comments

मुझे यहाँ एक उचित उत्तर मिला: आंकड़े

— शमौन

मैं इस प्रश्न को बंद करने के लिए मतदान कर रहा हूं क्योंकि यह एक क्रॉस-पोस्टिंग है: आंकड़े.stackexchange.com/q/187186/25741

— मार्टिन थोमा

Answer 1

वे दोनों विवेकशील मॉडल हैं, हां। लॉजिस्टिक रिग्रेशन लॉस फंक्शन वैचारिक रूप से सभी बिंदुओं का एक फंक्शन है। सही ढंग से वर्गीकृत अंक नुकसान समारोह में बहुत कम जोड़ते हैं, और अधिक जोड़ते हैं यदि वे सीमा के करीब हैं। सीमा के पास के बिंदु इसलिए नुकसान के लिए अधिक महत्वपूर्ण हैं और इसलिए यह तय करना कि सीमा कितनी अच्छी है।

एसवीएम एक काज हानि का उपयोग करता है, जो वैचारिक रूप से सीमा बिंदुओं पर जोर देता है। निकटतम बिंदुओं की तुलना में कुछ भी फंक्शन में "काज" (अधिकतम) की वजह से नुकसान में कुछ भी योगदान नहीं देता है। उन निकटतम बिंदुओं का समर्थन वेक्टर हैं, बस। इसलिए यह वास्तव में एक सीमा चुनने को कम कर देता है जो सबसे बड़े मार्जिन - निकटतम बिंदु तक दूरी बनाता है। सिद्धांत यह है कि सीमा मामला वह सब है जो वास्तव में सामान्यीकरण के लिए मायने रखता है।

नकारात्मक पक्ष यह है कि काज हानि अलग नहीं है, लेकिन इसका मतलब यह है कि यह पता लगाने के लिए अधिक गणित लगता है कि लैग्रेंज हिप्लियर के माध्यम से इसे कैसे अनुकूलित किया जाए। यह वास्तव में उस मामले को नहीं संभालता है जहां डेटा रैखिक रूप से अलग नहीं है। सुस्त चर एक चाल है जो इस संभावना को अनुकूलन समस्या में सफाई से शामिल करने देता है।

आप "गहरी शिक्षा" के साथ काज हानि का उपयोग कर सकते हैं, उदाहरण के लिए http://arxiv.org/pdf/1306.0239.pdf