क्यों 0-1 नुकसान समारोह अचूक है?

Question

इयान गुडफेलो की डीप लर्निंग किताब में, यह लिखा है कि

कभी-कभी, नुकसान समारोह जिसे हम वास्तव में परवाह करते हैं (कहते हैं, वर्गीकरण त्रुटि) वह नहीं है जिसे कुशलता से अनुकूलित किया जा सकता है। उदाहरण के लिए, अनुमानित 0-1 नुकसान को कम करना आमतौर पर एक रेखीय क्लासिफायरियर के लिए भी अव्यावहारिक (इनपुट आयाम में घातीय) है। ऐसी स्थितियों में, एक आम तौर पर बदले में एक सरोगेट हानि फ़ंक्शन का अनुकूलन करता है, जो एक प्रॉक्सी के रूप में कार्य करता है लेकिन इसके फायदे हैं।

क्यों 0-1 नुकसान अचूक है, या यह कैसे इनपुट आयामों में घातीय है?

Answer 1

$\beta$$\mathbf{1}(y_{i}\beta\mathbf{x}_{i} \leq 0)$$i$$2^{n}$$n$कुल नमूना अंक। यह एनपी-हार्ड होने के लिए जाना जाता है। अपने नुकसान फ़ंक्शन के वर्तमान मूल्य को जानने से कोई सुराग नहीं मिलता है कि आपको अपने वर्तमान समाधान को बेहतर बनाने के लिए कैसे संशोधित करना चाहिए, क्योंकि आप प्राप्त कर सकते हैं यदि उत्तल या निरंतर कार्यों के लिए ढाल के तरीके उपलब्ध थे।

Comments

बहुत अच्छा बिंदु - व्यवहार में यादृच्छिक खोज या संपूर्ण खोज एकमात्र ऐसी विधियाँ हैं जिनका उपयोग कम से कम इस तरह के नुकसान फ़ंक्शन को खोजने के लिए किया जा सकता है?

— DeltaIV

^ ^ या विकासवादी / झुंड आधारित खुफिया तरीके शायद?

— समरा इरशाद

@samrairshad हाँ, वास्तव में 0-1 का नुकसान विकासवादी तरीकों से देखना असामान्य नहीं है।

— जॉन डकेट

जटिल विकासवादी / झुंड एल्गोरिदम की ओर यादृच्छिक खोज से कूदने से पहले, मैं क्रॉस-एन्ट्रापी विधि (CEM) की जाँच करूँगा।

— maxy

Answer 2

वर्गीकरण त्रुटि वास्तव में कभी-कभी ट्रैक्टेबल होती है। यह कुशलता से अनुकूलित किया जा सकता है - हालांकि बिल्कुल नहीं - नेल्डर-मीड विधि का उपयोग करना, जैसा कि इस लेख में दिखाया गया है:

https://www.computer.org/csdl/trans/tp/1994/04/i0420-abs.html

"आयाम में कमी बहुआयामी वैक्टर को कम-आयामी स्थान में बदलने की प्रक्रिया है। पैटर्न मान्यता में, यह अक्सर वांछित होता है कि वर्गीकरण जानकारी के महत्वपूर्ण नुकसान के बिना इस कार्य को किया जाए। बेयस त्रुटि इस उद्देश्य के लिए एक आदर्श मानदंड है; हालांकि; यह गणितीय उपचार के लिए कुख्यात रूप से कठिन माना जाता है। नतीजतन, उप-अपनाने के मानदंड व्यवहार में उपयोग किए गए हैं। हम एक वैकल्पिक मानदंड प्रस्तावित करते हैं, जो बेयस त्रुटि के अनुमान के आधार पर है, जो वर्तमान में उपयोग किए जाने वाले मानदंडों की तुलना में इष्टतम मानदंड के करीब है। इस मापदंड के आधार पर रैखिक आयाम में कमी के लिए एक एल्गोरिथ्म की कल्पना की गई है और इसे लागू किया गया है। प्रयोग पारंपरिक एल्गोरिदम की तुलना में अपने बेहतर प्रदर्शन को प्रदर्शित करता है। "

यहां उल्लिखित बेयस त्रुटि मूल रूप से 0-1 नुकसान है।

यह काम रैखिक आयाम में कमी के संदर्भ में किया गया था। मुझे नहीं पता कि यह डीप लर्निंग नेटवर्क के प्रशिक्षण के लिए कितना प्रभावी होगा। लेकिन मुद्दा यह है, और सवाल का जवाब है: 0-1 नुकसान सार्वभौमिक रूप से भिन्न नहीं है। यह कम से कम कुछ प्रकार के मॉडल के लिए अपेक्षाकृत अच्छी तरह से अनुकूलित किया जा सकता है।