मेरे कुछ विचार भले ही सही न हों।
मैं समझता हूं कि हमारे पास इस तरह की डिजाइन है (काज और लॉजिस्टिक नुकसान के लिए) हम चाहते हैं कि उद्देश्य फ़ंक्शन उत्तल हो।
उत्तलता निश्चित रूप से एक अच्छी संपत्ति है, लेकिन मुझे लगता है कि सबसे महत्वपूर्ण कारण यह है कि हम चाहते हैं कि उद्देश्य समारोह में गैर-शून्य डेरिवेटिव हो , ताकि हम इसे हल करने के लिए डेरिवेटिव का उपयोग कर सकें। उद्देश्य फ़ंक्शन गैर-उत्तल हो सकता है, जिस स्थिति में हम अक्सर कुछ स्थानीय ऑप्टिमा या काठी बिंदुओं पर रुकते हैं।
और दिलचस्प बात यह है कि यह सही ढंग से वर्गीकृत उदाहरणों को भी दंडित करता है यदि वे कमजोर रूप से वर्गीकृत हैं। यह वास्तव में अजीब डिजाइन है।
मुझे लगता है कि इस तरह के डिजाइन मॉडल को न केवल सही भविष्यवाणियां करने की सलाह देते हैं, बल्कि भविष्यवाणियों के बारे में आश्वस्त भी होते हैं। यदि हम सही तरीके से वर्गीकृत उदाहरणों को दंडित नहीं करना चाहते हैं, तो हम उदाहरण के लिए, काज हानि (नीला) को 1 से बाईं ओर ले जा सकते हैं, ताकि उन्हें कोई नुकसान न हो। लेकिन मेरा मानना है कि इससे अक्सर अभ्यास में परिणाम खराब होते हैं।
अलग-अलग "प्रॉक्सी लॉस फ़ंक्शंस" का उपयोग करके हमें कौन सी कीमतें चुकानी पड़ती हैं, जैसे काज हानि और लॉजिस्टिक लॉस?
IMO विभिन्न नुकसान कार्यों को चुनकर हम मॉडल के लिए अलग-अलग धारणाएं ला रहे हैं। उदाहरण के लिए, लॉजिस्टिक रिग्रेशन लॉस (रेड) एक बर्नौली वितरण को मानता है, एमएसई लॉस (हरा) एक गाऊसी शोर को मानता है।
PRML में कम से कम वर्गों बनाम लॉजिस्टिक प्रतिगमन उदाहरण के बाद, मैंने तुलना के लिए काज हानि को जोड़ा।
जैसा कि चित्र में दिखाया गया है, काज हानि और लॉजिस्टिक रिग्रेशन / क्रॉस एन्ट्रापी / लॉग-लाइबिलिटी / सॉफ्टप्लस के बहुत करीबी परिणाम हैं, क्योंकि उनके उद्देश्य कार्य करीब हैं (नीचे आंकड़ा), जबकि एमएसई आमतौर पर आउटलेर्स के लिए अधिक संवेदनशील है। काज हानि हमेशा एक अद्वितीय समाधान नहीं है क्योंकि यह सख्ती से उत्तल नहीं है।
हालांकि काज हानि की एक महत्वपूर्ण संपत्ति है, निर्णय सीमा से दूर डेटा बिंदुओं का नुकसान में कुछ भी योगदान नहीं है, समाधान उन बिंदुओं को हटाने के साथ ही होगा।
शेष बिंदुओं को एसवीएम के संदर्भ में समर्थन वैक्टर कहा जाता है। जबकि एसवीएम अधिकतम मार्जिन संपत्ति और एक अद्वितीय समाधान सुनिश्चित करने के लिए एक नियमित शब्द का उपयोग करता है।
