दो मॉडल की तुलना जब आरओसी वक्र एक दूसरे को पार करते हैं


13

दो या दो से अधिक वर्गीकरण मॉडल की तुलना करने के लिए उपयोग किया जाने वाला एक सामान्य उपाय आरओसी वक्र (एयूसी) के तहत क्षेत्र का उपयोग अपने प्रदर्शन का अप्रत्यक्ष रूप से आकलन करने के लिए है। इस मामले में एक बड़े AUC के साथ एक मॉडल आमतौर पर एक छोटे AUC के साथ एक मॉडल से बेहतर प्रदर्शन के रूप में व्याख्या की जाती है। लेकिन, विहिनन, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ) के अनुसार, जब दोनों वक्र एक दूसरे को पार करते हैं, तो ऐसी तुलना मान्य नहीं है। ऐसा क्यों है?

उदाहरण के लिए, ROC घटता और AUCs के आधार पर मॉडल A, B और C के बारे में कोई क्या पता लगा सकता है?

यहाँ छवि विवरण दर्ज करें

जवाबों:


19

एक आरओसी वक्र सभी संभावित थ्रेसहोल्ड के लिए TPR और FPR की कल्पना करता है ।

  • यदि आप दो आरओसी घटता 'ए' और 'बी' की साजिश रचते हैं और वे एक-दूसरे को पार नहीं करते हैं, तो आपका एक क्लासीफायर स्पष्ट रूप से बेहतर प्रदर्शन कर रहा है, क्योंकि सभी संभावित एफपीआर मूल्यों के लिए आपको एक उच्च टीपीआर मिलता है। जाहिर है आरओसी के तहत क्षेत्र भी अधिक होगा।

  • अब, यदि वे एक-दूसरे को पार करते हैं, तो एक बिंदु है जहां एफपीआर और टीपीआर दोनों वक्रों 'ए' और 'बी' के लिए समान हैं । अब आप यह नहीं कह सकते हैं कि एक आरओसी वक्र बेहतर प्रदर्शन करता है, क्योंकि यह अब इस बात पर निर्भर करता है कि आप किस व्यापार को पसंद करते हैं। क्या आप उच्च परिशुद्धता / कम याद या कम परिशुद्धता / उच्च याद करते हैं ?

उदाहरण: यदि 0.2 के एफपीआर पर एक क्लासिफायर बेहतर प्रदर्शन करता है, लेकिन उच्च रिकॉल तक पहुंचना महत्वपूर्ण है , तो यह उस सीमा पर अच्छा प्रदर्शन करता है जिसमें आप रुचि नहीं रखते हैं।

अपने ग्राफ़ में ROC घटता के बारे में: आप आसानी से बता सकते हैं कि 'ए' बहुत बेहतर प्रदर्शन करता है, बिना यह जाने कि आप क्या हासिल करना चाहते हैं। जैसे ही वायलेट वक्र दूसरों को पार करता है यह उन्हें फिर से पार कर जाता है। आप शायद उस छोटे हिस्से में दिलचस्पी नहीं रखते हैं , जहां 'बी' और 'सी' थोड़ा बेहतर प्रदर्शन करते हैं ।

निम्नलिखित ग्राफ में आप दो आरओसी वक्रों को देखते हैं, जो एक दूसरे को भी पार करते हैं। यहाँ, आप यह नहीं बता सकते कि एक दूसरे के पूरक के रूप में कौन सा बेहतर है ।

आरओसी कर्व्स को पार करना

ध्यान दें, कि दिन के अंत में, आप अपने वर्गीकरण के लिए एक सीमा चुनने में रुचि रखते हैं और एयूसी आपको केवल एक अनुमान देता है कि एक मॉडल सामान्य रूप से कितना अच्छा प्रदर्शन करता है


केवल पुष्टि के लिए, मेरे उदाहरण में, यदि मैं बहुत अधिक कट-ऑफ वैल्यू चुनता हूं, जहां परिशुद्धता बड़ी है, तो मॉडल A अच्छे मार्जिन से B और C आउट करेगा?
इडू

आपको कैसे पता चलेगा कि परिशुद्धता कहाँ बड़ी है? यह एक आरओसी है, न कि प्रिसिजन-रिकॉल कर्व। प्रिसिजन के लिए आप ट्रू पॉजिटिव की संभावना की जांच करते हैं, जिसे देखते हुए आपके क्लासिफायर ने पॉजिटिव कहा।
लक्ष्मण नाथन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.