मैं एक बहुस्तरीय पाठ वर्गीकरण समस्या के लिए 2 अलग-अलग क्लासिफायर की तुलना करना चाहूंगा जो बड़े प्रशिक्षण डेटासेट का उपयोग करते हैं। मुझे संदेह है कि क्या मुझे 2 क्लासिफायर की तुलना करने के लिए आरओसी कर्व्स या लर्निंग कर्व्स का उपयोग करना चाहिए।
एक तरफ, सीखने के मोड़ प्रशिक्षण डाटासेट के आकार को तय करने के लिए उपयोगी होते हैं, क्योंकि आप उस डेटासेट का आकार पा सकते हैं जिस पर क्लासिफायर सीखना बंद कर देता है (और शायद गिरावट)। तो इस मामले में सबसे अच्छा क्लासिफायर सबसे छोटे डेटासेट आकार के साथ उच्चतम सटीकता तक पहुंचने वाला हो सकता है।
दूसरी ओर, आरओसी वक्र आपको संवेदनशीलता / विशिष्टता के बीच सही व्यापार-बंद के साथ एक बिंदु खोजने देता है। इस मामले में सबसे अच्छा क्लासिफायर किसी एफपीआर के लिए सबसे अधिक टीपीआर के साथ शीर्ष-बाएं हिस्से के करीब है।
क्या मुझे दोनों मूल्यांकन विधियों का उपयोग करना चाहिए? क्या एक बेहतर लर्निंग कर्व के साथ एक विधि के लिए संभव है कि एक खराब आरओसी वक्र, और इसके विपरीत हो?