पीआर वक्र के तहत क्षेत्र की व्याख्या

Question

मैं वर्तमान में तीन विधियों की तुलना कर रहा हूं और मेरे पास मैट्रिक्स के रूप में एक्यूरेसी, auROC और auPR है। और मेरे पास निम्नलिखित परिणाम हैं:

विधि ए - एसीसी: 0.75, एयूआरओआरसी: 0.75, एयूपीआर: 0.45

विधि बी - एसीसी: 0.65, एयूआरओआरसी: 0.55, एयूपीआर: 0.40

विधि C - acc: 0.55, auROC: 0.70, auPR: 0.65

मुझे सटीकता और auROC की अच्छी समझ है (अच्छी तरह से याद रखने के लिए मैं अक्सर "auROC = सकारात्मक कक्षा की अच्छी तरह से भविष्यवाणी करने की क्षमता को चित्रित करता हूं" जैसे वाक्य के साथ आने की कोशिश करता हूं, जबकि बिल्कुल सही नहीं यह मुझे याद रखने में मदद करता है)। मेरे पास पहले कभी auPR डेटा नहीं था और जब तक मैं समझता हूं कि इसे कैसे बनाया जाता है, मैं इसके पीछे "भावना" नहीं प्राप्त कर सकता।

वास्तव में मैं यह समझने में असफल रहा कि सटीकता और auPR के लिए खराब / औसत होने के कारण विधि C के पास auPR के लिए अविश्वसनीय रूप से उच्च स्कोर क्यों है।

अगर कोई मुझे एक सरल व्याख्या के साथ इसे थोड़ा बेहतर समझने में मदद कर सकता है जो वास्तव में बहुत अच्छा होगा। धन्यवाद।

Answer 1

आरओसी और पीआर घटता की एक धुरी एक ही है, वह है टीपीआर: कितने सकारात्मक मामलों को डेटा में सभी सकारात्मक मामलों में से सही ढंग से वर्गीकृत किया गया है।

दूसरी धुरी अलग है। आरओसी एफपीआर का उपयोग करता है, जो डेटा में सभी नकारात्मक चीजों में से कितने गलत तरीके से सकारात्मक घोषित करता है। पीआर कर्व सटीक का उपयोग करता है: कितने सच्चे सकारात्मक हैं जो कि सकारात्मक के रूप में भविष्यवाणी किए गए हैं। तो दूसरी धुरी का आधार अलग है। आरओसी डेटा में क्या उपयोग करता है, पीआर एक आधार के रूप में भविष्यवाणी में क्या उपयोग करता है।

पीआर वक्र को अधिक जानकारीपूर्ण माना जाता है जब डेटा में एक उच्च श्रेणी का असंतुलन होता है, तो इस पेपर को देखें http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf ।

Comments

एयूआरओसी के लिए 0.5 न्यूनतम है (क्योंकि कम से कम पूर्वानुमान लगाने से बेहतर होगा)। क्या एयूपीआर के साथ कुछ समान नियम हैं? मेरे मापों के विषय में: मैं विधि C के अंकों को देखकर क्या कह सकता हूं? क्योंकि मैं 3 मामलों में एक ही डेटासेट के साथ काम कर रहा हूं और किसी भी वर्ग के बीच कम या ज्यादा वितरण वाले डेटासेट के लिए मेरे दृष्टिकोण से यह समझ में नहीं आता है कि auROC और auPR मेरे लिए समान रैंकिंग का पालन नहीं करते हैं तरीकों।

— AdrienNK

auPR में यादृच्छिक क्लासिफायर स्कोर क्या है? मुझे पता है कि यह auROC में 0.5 है, लेकिन मैं auPR में पता करने में असमर्थ हूं।

— जैक ट्वेन

यादृच्छिक क्लासिफायर के लिए अपेक्षित auPR स्कोर डेटासेट में सही सकारात्मक मामलों का अनुपात है। यदि आप वर्ग का अनुमान लगाते हैं, तो आपको वह सटीकता मिल जाएगी, और आपको याद रखने की सभी स्तरों के लिए वह सटीकता मिल जाएगी। इसलिए एक यादृच्छिक क्लासिफायर के लिए अपेक्षित पीआर वक्र पक्ष की लंबाई के साथ एक आयत है "वास्तविक सकारात्मकता का अनुपात" x 1। उदाहरण के लिए, यदि आपके डेटासेट में 10% सकारात्मक मामले और 90% नकारात्मक मामले हैं, तो मौका के तहत अपेक्षित auPR 0.1 है।

— लिजी सिल्वर