उच्च परिशुद्धता या उच्च रिकॉल बाइनरी क्लासिफायरफ़ायर प्राप्त करने के लिए किसी व्यक्ति को किस हानि कार्य का उपयोग करना चाहिए?

Question

मैं वस्तुओं का एक डिटेक्टर बनाने की कोशिश कर रहा हूं जो बहुत कम (छवियों में) होता है, एक स्लाइडिंग / रिसाइज्ड विंडो में लागू सीएनएन बाइनरी क्लासिफायरियर का उपयोग करने की योजना है। मैंने संतुलित 1: 1 पॉजिटिव-निगेटिव ट्रेनिंग और टेस्ट सेट का निर्माण किया है (क्या इस तरह के btw में ऐसा करना सही है?), और सटीकता के मामले में क्लासिफायर एक टेस्ट सेट पर ठीक कर रहा है। अब मैं अपने क्लासिफायर के रिकॉल / सटीक को नियंत्रित करना चाहता हूं, उदाहरण के लिए, यह गलत तरीके से बहुसंख्यक वर्ग की घटनाओं के बहुत अधिक लेबल नहीं करेगा।

स्पष्ट (मेरे लिए) समाधान उसी लॉजिस्टिक नुकसान का उपयोग करना है जो अब उपयोग किया जाता है, लेकिन वजन प्रकार I और टाइप II त्रुटियां अलग-अलग दो मामलों में से किसी एक में नुकसान को गुणा करके, जिसे ट्यून किया जा सकता है। क्या यह सही है?

PS एक दूसरे विचार पर यह कुछ प्रशिक्षण नमूनों को दूसरों की तुलना में अधिक भार देने के बराबर है। सिर्फ एक वर्ग को जोड़ने से मुझे वही मिलेगा जो मुझे लगता है।

Comments

क्या आपने कभी इसका समाधान किया? मेरा एक समान उद्देश्य है। मैं सटीक (प्रकार 1) के लिए अनुकूलन करना चाहता हूं, और टाइप 2 त्रुटियों के बारे में कम परवाह करता हूं, इसलिए विचार कर रहा है कि नुकसान फ़ंक्शन के संबंध में क्या किया जा सकता है।

— जोनाथन शोर

Answer 1

कृत्रिम रूप से संतुलित प्रशिक्षण सेट का निर्माण बहस का विषय है, वास्तव में काफी विवादास्पद है। यदि आप ऐसा करते हैं, तो आपको अनुभवजन्य रूप से सत्यापित करना चाहिए कि यह वास्तव में असंतुलित प्रशिक्षण सेट को छोड़ने से बेहतर काम करता है। कृत्रिम रूप से परीक्षण-सेट को संतुलित करना लगभग कभी भी अच्छा विचार नहीं है। परीक्षण-सेट को नए डेटा बिंदुओं का प्रतिनिधित्व करना चाहिए क्योंकि वे बिना लेबल के आते हैं। आप उनसे असंतुलित होने की उम्मीद करते हैं, इसलिए आपको यह जानना होगा कि क्या आपका मॉडल असंतुलित परीक्षण-सेट को संभाल सकता है। (यदि आप नए रिकॉर्ड्स के असंतुलित होने की उम्मीद नहीं करते हैं, तो आपके सभी मौजूदा रिकॉर्ड असंतुलित क्यों हैं?)

अपने प्रदर्शन मीट्रिक के बारे में, आपको हमेशा वही मिलेगा जो आप पूछते हैं। यदि एक असंतुलित सेट में सटीकता की आवश्यकता नहीं है, क्योंकि न केवल कक्षाएं बल्कि गर्भपात की लागत भी असंतुलित है, तो इसका उपयोग न करें। यदि आपने मीट्रिक के रूप में सटीकता का उपयोग किया था और अपने सभी मॉडल के चयन और हाइपरपैरेट ट्यूनिंग को हमेशा सबसे अच्छी सटीकता के साथ लेते हुए, आप सटीकता के लिए अनुकूलन कर रहे हैं।

मैं अल्पसंख्यक वर्ग को सकारात्मक वर्ग के रूप में लेता हूं, यह उनके नामकरण का पारंपरिक तरीका है। इस प्रकार नीचे चर्चा की गई सटीकता और याद अल्पसंख्यक वर्ग की सटीकता और याद है।

• यदि केवल महत्वपूर्ण बात सभी अल्पसंख्यक वर्ग रिकॉर्ड की पहचान करना है, तो आप वापस ले सकते हैं। आप इस प्रकार अधिक झूठी सकारात्मक स्वीकार कर रहे हैं।
• केवल परिशुद्धता का अनुकूलन एक बहुत ही अजीब विचार होगा। आप अपने क्लासिफायर को बता रहे होंगे कि अल्पसंख्यक वर्ग को कम आंकना कोई समस्या नहीं है। अल्पसंख्यक वर्ग की घोषणा करने में एक उच्च परिशुद्धता होने का सबसे आसान तरीका है।
• यदि आपको सटीक और याद रखने की आवश्यकता है, तो आप एफ-माप ले सकते हैं। यह सटीक और याद के बीच का हार्मोनिक मतलब है और इस प्रकार उन परिणामों को दंडित करता है जहां दोनों मैट्रिक्स डायवर्ज करते हैं।
• यदि आप दोनों दिशाओं में ठोस गर्भपात लागत जानते हैं (और सही वर्गीकरण का लाभ यदि वे प्रति वर्ग भिन्न हैं), तो आप एक नुकसान के कार्य में सभी डाल सकते हैं और इसे अनुकूलित कर सकते हैं।

Answer 2

आप कई धारणाएं बना रहे हैं। सामान्य लक्ष्य में अंतिम लक्ष्य के बारे में सोचना सबसे अच्छा है, फिर एक रणनीति बनाएं जो उस लक्ष्य को पूरा करती है। उदाहरण के लिए क्या आपको वास्तव में मजबूर-पसंद वर्गीकरण की आवश्यकता है और संकेत है: समर्थन करने के लिए शोर अनुपात काफी बड़ा है (अच्छे उदाहरण: ध्वनि और छवि मान्यता)? या संकेत है: शोर अनुपात कम है या आप प्रवृत्तियों में रुचि रखते हैं ? बाद के लिए, जोखिम का अनुमान आपके लिए है। चुनाव महत्वपूर्ण है और आपके द्वारा चुनी गई भविष्यवाणी सटीकता मीट्रिक को निर्धारित करता है। इस सब पर अधिक विचारों के लिए देखें http://www.fharrell.com/2017/01/classification-vs-prediction.html और http://www.fharrell.com/2017/03/damage-caused-by-classification .html ।

अधिकांश समस्याएं चिंता निर्णय लेने और इष्टतम निर्णय हानि / लागत / उपयोगिता फ़ंक्शन के साथ युग्मित जोखिम अनुमान से आती हैं।

जोखिम (संभावना) अनुमान दृष्टिकोण का एक सबसे अच्छा पहलू यह है कि यह ग्रे जोन को संभालता है जहां अधिक डेटा प्राप्त किए बिना वर्गीकरण या निर्णय लेने में गलती होगी। और फिर वहाँ तथ्य यह है कि संभावना अनुमान की आवश्यकता नहीं है (यहां तक ​​कि अनुमति नहीं देता है) एक नमूना को कृत्रिम रूप से हेरफेर करके परिणामों को "संतुलन" करने के लिए।

Answer 3

$$\sum_{j=1}^J\log\left\{1+\exp\left[-f\left(x_j\right)\right]\right\}+\sum_{k=1}^K\log\left\{1+\exp\left[f\left(x_k\right)\right]\right\}$$ $j$$k$$f(\cdot)$$x$
$$\sum_{j=1}^J\log\left\{1+\exp\left[-f\left(x_j\right)\right]\right\}+\sum_{k=1}^Kw\log\left\{1+\exp\left[f\left(x_k\right)\right]\right\}$$ $w>1$$w$$w=2$

Comments

लेकिन यह अब एक अधिकतम संभावना अनुमानक नहीं होगा - एक सांख्यिकीय नहीं-नहीं

— फ्रैंक हरेल

सहमत हूं, लेकिन मुझे यकीन नहीं है कि यह मायने रखता है अगर लॉजिस्टिक रिग्रेशन में मापदंडों पर सांख्यिकीय अनुमान वांछित लक्ष्य नहीं है (सीएनएन का उपयोग करने का ओपी का उल्लेख एमएल-आधारित भी नहीं है)। वास्तव में, इस भारित दृष्टिकोण से अधिकांश / सभी अवर आउटपुट को सबसे अच्छा नजरअंदाज किया जाएगा, लेकिन मॉडल और जिसके परिणामस्वरूप जोखिम स्कोर अभी भी वांछनीय परिणामों, जैसे अच्छे भेदभाव / अंशांकन के साथ एक सत्यापन सेट पर लागू किया जा सकता है।

— ट्रैविस गेरके 15

नहीं, आप मॉडल के अंशांकन को परेशान करेंगे और उपरोक्त दृष्टिकोण के साथ अधिक शोर पैरामीटर अनुमान प्राप्त करेंगे। MLE कुछ बहुत अच्छे कारणों के लिए मौजूद है।

— फ्रैंक

एक तरह से गर्भपात के बारे में बहुत चिंतित होने के तुच्छ मामले पर विचार करें, लेकिन अन्य नहीं - यानी दिशाओं में से एक के लिए शून्य नुकसान। उस नुकसान के लिए सबसे अच्छा मॉडल केवल चिंता की श्रेणी का अनुमान लगाएगा। यद्यपि यह एक भयानक मॉडल होगा, उद्देश्य प्राप्त किया जाता है। उद्देश्य को समझना महत्वपूर्ण है और एक सैद्धांतिक अवधारणा (MLE) में अंधा विश्वास नहीं करना चाहिए, बिना यह समझे कि यह उद्देश्य है। जैसा कि ट्रैविसगर्के ने नोट किया है, अगर मॉडलिंग के बजाय भविष्यवाणी पर जोर दिया जाता है, तो उनका दृष्टिकोण काफी उपयोगी है। यह निश्चित रूप से बहुसंख्यक वर्ग को नीचा दिखाने से बेहतर है।

— स्टेटसेकर