जबकि दो आँकड़ों के उपायों के परस्पर संबंध होने की संभावना है, वे वर्गीकरण के विभिन्न गुणों को मापते हैं।
AUROC
वक्र (एयूसी) के तहत क्षेत्र इस संभावना के बराबर है कि एक क्लासिफायर बेतरतीब ढंग से चुने गए नकारात्मक उदाहरण की तुलना में एक यादृच्छिक रूप से चुने गए सकारात्मक उदाहरण को रैंक करेगा। यह उस श्रेणी के पैटर्न के सेट को वर्गीकृत करने के कौशल को मापता है जिसके अनुसार वे सकारात्मक वर्ग से संबंधित हैं, लेकिन वास्तव में कक्षाओं को पैटर्न प्रदान किए बिना।
समग्र सटीकता भी श्रेणीबद्ध पैटर्न को रैंक करने की क्षमता पर निर्भर करती है, लेकिन रैंकिंग में दहलीज का चयन करने की क्षमता पर भी इसका उपयोग सकारात्मक वर्ग को पैटर्न सौंपने के लिए किया जाता है यदि थ्रेशोल्ड से ऊपर और नकारात्मक वर्ग नीचे हो तो।
इस प्रकार उच्च AUROC आँकड़ा (सभी चीजें समान होने के साथ) का वर्गीकरण भी उच्च समग्र सटीकता की संभावना है क्योंकि पैटर्न की रैंकिंग (जो AUROC उपाय) AUROC और समग्र सटीकता दोनों के लिए फायदेमंद है। हालाँकि, यदि कोई क्लासिफायरियर पैटर्न को अच्छी तरह से रैंक करता है, लेकिन थ्रेशोल्ड को बुरी तरह से चुनता है, तो इसमें एक उच्च AUROC हो सकता है लेकिन एक खराब समग्र सटीकता।
प्रायोगिक उपयोग
व्यवहार में, मैं समग्र सटीकता, एयूआरओसी एकत्र करना पसंद करता हूं और यदि क्लासिफायर क्लास की सदस्यता, क्रॉस-एन्ट्रापी या पूर्वानुमान संबंधी जानकारी की संभावना का अनुमान लगाता है। तब मेरे पास एक मीट्रिक है जो एक कठिन वर्गीकरण करने के लिए अपनी कच्ची क्षमता को मापता है (झूठी-सकारात्मक और झूठी-नकारात्मक गर्भपात की लागत को संभालने के बराबर है और नमूने में वर्ग की आवृत्ति परिचालन उपयोग में उन लोगों के समान है - एक बड़ी धारणा!)। एक मीट्रिक जो पैटर्न को रैंक करने की क्षमता को मापता है और एक मीट्रिक जो मापता है कि रैंकिंग कितनी संभावना के रूप में कैलिब्रेटेड है।
कई कार्यों के लिए, परिचालन गर्भपात की लागत अज्ञात या परिवर्तनशील है, या परिचालन वर्ग की आवृत्तियों प्रशिक्षण नमूने या चर में उन लोगों के लिए अलग हैं। उस मामले में, समग्र सटीकता अक्सर काफी अर्थहीन होती है और एयूआरओसी प्रदर्शन का एक बेहतर संकेतक है और आदर्श रूप से हम एक ऐसा क्लासिफायर चाहते हैं जो अच्छी तरह से कैलिब्रेटेड संभावनाओं को आउटपुट करता है, ताकि हम परिचालन उपयोग में इन मुद्दों की भरपाई कर सकें। अनिवार्य रूप से जो मीट्रिक महत्वपूर्ण है, उस समस्या पर निर्भर करता है जिसे हम हल करने की कोशिश कर रहे हैं।