जवाबों:
सही ढंग से वर्गीकृत किया गया अनुपात एक अनुचित स्कोरिंग नियम है, अर्थात, यह एक फर्जी मॉडल द्वारा अनुकूलित है। मैं द्विघात स्कोर के रूप में जाना जाने वाला द्विघात उचित स्कोरिंग नियम या समवर्ती संभावना (द्विआधारी मामले में आरओसी वक्र के तहत क्षेत्र ) का उपयोग करेगा। यादृच्छिक वन आपके मामले में एसवीएम से बेहतर काम करता है।
मुझे लगता है कि आपको निश्चित रूप से केवल एयूसी और सटीकता से अधिक मैट्रिक्स में देखना चाहिए।
सटीकता (संवेदनशीलता और विशिष्टता के साथ) एक बहुत ही सरल लेकिन पक्षपाती मीट्रिक है जो आपको पूर्ण भविष्यवाणी परिणाम को देखने के लिए मजबूर करता है और वर्ग संभावनाओं या रैंकिंग के दावे के लिए नहीं खुलता है। यह आबादी को भी ध्यान में नहीं रखता है जो गलत व्याख्या के लिए आमंत्रित करता है क्योंकि 95% सटीकता के साथ जनसंख्या पर 95% सटीकता देने वाले मॉडल को यादृच्छिक होने पर सही होने का मौका नहीं मिलता है, भले ही सटीकता अधिक हो।
AUC मॉडल सटीकता को सुनिश्चित करने के लिए एक अच्छा मीट्रिक है जो जनसंख्या वर्ग की संभावनाओं से स्वतंत्र है। हालांकि, यह आपको कुछ भी नहीं बताएगा कि वास्तव में संभावना के अनुमान कितने अच्छे हैं। आप एक उच्च एयूसी प्राप्त कर सकते हैं लेकिन अभी भी बहुत कम संभावना अनुमान हैं। यह मीट्रिक सटीकता की तुलना में अधिक भेदभाव करता है और निश्चित रूप से आपको बेहतर मॉडल देगा जब कुछ उचित स्कोरिंग नियम के साथ संयोजन में उपयोग किया जाता है, जैसे कि एक अन्य पोस्ट में उल्लिखित बैरियर स्कोर।
आप यहां एक अधिक औपचारिक प्रमाण प्राप्त कर सकते हैं, हालांकि यह पेपर काफी सैद्धांतिक है: AUC: सांख्यिकीय रूप से सुसंगत और सटीकता से अधिक भेदभावकारी उपाय
हालांकि अच्छे मेट्रिक्स का एक गुच्छा उपलब्ध है। बाइनरी क्लास प्रोबेबिलिटी एस्टिमेशन और क्लासी Prob केशन के लिए नुकसान के कार्य: संरचना और अनुप्रयोग एक अच्छा पेपर है जो उचित स्कोरिंग नियमों जैसे बैरियर स्कोर के लिए निवेश करता है।
मॉडल के प्रदर्शन के दावे के लिए मैट्रिक्स के साथ एक और दिलचस्प पेपर मूल्यांकन है: परिशुद्धता, रिकॉल और एफ-माप से आरओसी, सूचना, चिह्नितता और सहसंबंध जैसे अन्य अच्छे प्रदर्शन मैट्रिक्स को सूचित करना।
संक्षेप में, मैं आपको मॉडल के प्रदर्शन पर जोर देने के लिए AUC / Gini और Brier स्कोर को देखने की सलाह दूंगा, लेकिन आपके मॉडल के साथ लक्ष्य के आधार पर अन्य मैट्रिक्स आपकी समस्या को बेहतर ढंग से प्रस्तुत कर सकते हैं।