आरओसी बनाम समग्र सटीकता के तहत क्षेत्र


29

मैं आरओसी के एरिया अंडर कर्व (एयूसी) और समग्र सटीकता के बारे में थोड़ा भ्रमित हूं।

  1. क्या AUC समग्र सटीकता के लिए आनुपातिक होगा? दूसरे शब्दों में, जब हमारे पास एक बड़ी समग्र सटीकता होगी, तो क्या हम निश्चित रूप से बड़ा एयूसी प्राप्त करेंगे? या क्या वे सकारात्मक रूप से सहसंबद्ध हैं?

  2. यदि वे सकारात्मक रूप से सहसंबद्ध हैं, तो हम कुछ प्रकाशनों में उन दोनों को रिपोर्ट करने से क्यों परेशान हैं?

  3. वास्तविक मामले में, मैंने कुछ वर्गीकरण कार्य किए और निम्नानुसार परिणाम प्राप्त किए: क्लासिफायर ए को 85% सटीकता और 0.98 के एयूसी और क्लासिफायर बी को 93% और 0.92 के एयूसी की सटीकता मिली। सवाल यह है कि कौन सा क्लासिफायर बेहतर है? या क्या इसके समान परिणाम प्राप्त करना संभव है (मेरा मतलब है कि मेरे कार्यान्वयन में बग हो सकता है)?


1
मैंने पाया कि आप में से कुछ के लिए एक पेपर में कुछ दिलचस्पी हो सकती है। google.co.uk/…
समो जेरोम

क्या AUC को समग्र सटीकता से कम नहीं माना जाता है क्योंकि हम AUC माप में झूठी सकारात्मक दर की गणना करते हैं जबकि हम सटीकता में नहीं हैं ???
अली सुल्तान

आरओसी एयूसी तब फायदेमंद होता है जब कक्षाओं का आकार अलग होता है। यदि 99% ऑब्जेक्ट सकारात्मक हैं, तो 99% की सटीकता यादृच्छिक नमूने द्वारा प्राप्य है। फिर आरओसी एयूसी मूल्य अधिक सार्थक होगा।
ऐनी-मूस 22

जवाबों:


26

AUC (ROC पर आधारित) और समग्र सटीकता समान अवधारणा नहीं है।

कुल मिलाकर सटीकता एक विशिष्ट कटपॉइंट पर आधारित है, जबकि आरओसी सभी कटपॉइंट की कोशिश करता है और संवेदनशीलता और विशिष्टता को प्लॉट करता है। इसलिए जब हम समग्र सटीकता की तुलना करते हैं, तो हम कुछ कटपॉइंट के आधार पर सटीकता की तुलना कर रहे हैं। समग्र सटीकता विभिन्न कटपॉइंट से भिन्न होती है।


2
आपके उत्तर के लिए बहुत बहुत धन्यवाद! मैं समझता हूं कि समग्र सटीकता कुछ कट-पॉइंट (या थ्रेशोल्ड वैल्यू) से प्राप्त की जाती है। हालांकि, एक सबसे अच्छा कट-पॉइंट है, यानी, शीर्ष बाएं कोने के सबसे करीब। उदाहरण के लिए, मेरी समग्र सटीकता की गणना इस सर्वश्रेष्ठ कट-ऑफ पॉइंट का उपयोग करके की जाती है, और एयूसी सभी अलग-अलग कट-पॉइंट के लिए है। फिर इस सटीकता और एयूसी की व्याख्या कैसे करें? उदाहरण के लिए, ऊपर वर्णित दो क्लासिफायर का प्रदर्शन।
सामो जेरोम 19

3
ओह मैं समझा। आप सर्वोत्तम समग्र सटीकता और AUC की तुलना कर रहे हैं। लेकिन वे अभी भी फिर से अलग अवधारणा हैं। AUC P (अनुमानित TRUE | वास्तविक TRUE) बनाम P (FALSE | FALSE) है, जबकि समग्र सटीकता P = P (TRUE | TRUE) * P (वास्तविक TRUE) + P (FALSE। FALSE) * P है। वास्तविक FALSE)। तो यह आपके डेटा सेट पर सही मूल्य के अनुपात पर निर्भर करता है। व्यवहार में, ऐसा लगता है कि सबसे अच्छी समग्र सटीकता आमतौर पर तब प्राप्त होती है जब कटपॉइंट पी (वास्तविक TRUE) के पास होता है।
विंसेंट

तो AUC और सर्वोत्तम समग्र सटीकता आपके डेटा सेट के सही मूल्य के अनुपात के आधार पर संगत नहीं हो सकती है। आपके मामले में, ऐसा लगता है कि वर्गीकरण में से एक संवेदनशीलता पर अधिक ध्यान केंद्रित कर रहा है जबकि दूसरा विशिष्टता पर। और आपके वर्तमान डेटा सेट पर, P (TRUE) 50% नहीं है। तो संवेदनशीलता और विशिष्टता विभिन्न भारित द्वारा समग्र सटीकता में योगदान करती है। व्यवहार में, आरओसी हमें अधिक जानकारी दे सकता है, और हम मामले के द्वारा उत्तम दर्जे का मामला चुनना चाहेंगे। उदाहरण के लिए, महत्वपूर्ण महत्वपूर्ण ईमेल को रोकने के लिए स्पैम क्लासिफायरियर P (नहीं स्पैम नहीं स्पैम) पर अधिक ध्यान केंद्रित किया जा सकता है।
विंसेंट

आपके उत्तर के लिए धन्यवाद। यह अब बहुत स्पष्ट है। लेकिन अगर कोई अधिक चर्चा करना चाहता है तो कृपया यहां पोस्ट करें।
सामो जेरोम

27

जबकि दो आँकड़ों के उपायों के परस्पर संबंध होने की संभावना है, वे वर्गीकरण के विभिन्न गुणों को मापते हैं।

AUROC

वक्र (एयूसी) के तहत क्षेत्र इस संभावना के बराबर है कि एक क्लासिफायर बेतरतीब ढंग से चुने गए नकारात्मक उदाहरण की तुलना में एक यादृच्छिक रूप से चुने गए सकारात्मक उदाहरण को रैंक करेगा। यह उस श्रेणी के पैटर्न के सेट को वर्गीकृत करने के कौशल को मापता है जिसके अनुसार वे सकारात्मक वर्ग से संबंधित हैं, लेकिन वास्तव में कक्षाओं को पैटर्न प्रदान किए बिना।

समग्र सटीकता भी श्रेणीबद्ध पैटर्न को रैंक करने की क्षमता पर निर्भर करती है, लेकिन रैंकिंग में दहलीज का चयन करने की क्षमता पर भी इसका उपयोग सकारात्मक वर्ग को पैटर्न सौंपने के लिए किया जाता है यदि थ्रेशोल्ड से ऊपर और नकारात्मक वर्ग नीचे हो तो।

इस प्रकार उच्च AUROC आँकड़ा (सभी चीजें समान होने के साथ) का वर्गीकरण भी उच्च समग्र सटीकता की संभावना है क्योंकि पैटर्न की रैंकिंग (जो AUROC उपाय) AUROC और समग्र सटीकता दोनों के लिए फायदेमंद है। हालाँकि, यदि कोई क्लासिफायरियर पैटर्न को अच्छी तरह से रैंक करता है, लेकिन थ्रेशोल्ड को बुरी तरह से चुनता है, तो इसमें एक उच्च AUROC हो सकता है लेकिन एक खराब समग्र सटीकता।

प्रायोगिक उपयोग

व्यवहार में, मैं समग्र सटीकता, एयूआरओसी एकत्र करना पसंद करता हूं और यदि क्लासिफायर क्लास की सदस्यता, क्रॉस-एन्ट्रापी या पूर्वानुमान संबंधी जानकारी की संभावना का अनुमान लगाता है। तब मेरे पास एक मीट्रिक है जो एक कठिन वर्गीकरण करने के लिए अपनी कच्ची क्षमता को मापता है (झूठी-सकारात्मक और झूठी-नकारात्मक गर्भपात की लागत को संभालने के बराबर है और नमूने में वर्ग की आवृत्ति परिचालन उपयोग में उन लोगों के समान है - एक बड़ी धारणा!)। एक मीट्रिक जो पैटर्न को रैंक करने की क्षमता को मापता है और एक मीट्रिक जो मापता है कि रैंकिंग कितनी संभावना के रूप में कैलिब्रेटेड है।

कई कार्यों के लिए, परिचालन गर्भपात की लागत अज्ञात या परिवर्तनशील है, या परिचालन वर्ग की आवृत्तियों प्रशिक्षण नमूने या चर में उन लोगों के लिए अलग हैं। उस मामले में, समग्र सटीकता अक्सर काफी अर्थहीन होती है और एयूआरओसी प्रदर्शन का एक बेहतर संकेतक है और आदर्श रूप से हम एक ऐसा क्लासिफायर चाहते हैं जो अच्छी तरह से कैलिब्रेटेड संभावनाओं को आउटपुट करता है, ताकि हम परिचालन उपयोग में इन मुद्दों की भरपाई कर सकें। अनिवार्य रूप से जो मीट्रिक महत्वपूर्ण है, उस समस्या पर निर्भर करता है जिसे हम हल करने की कोशिश कर रहे हैं।


डिक्रान, क्या आपके पास अपने पहले पैराग्राफ के लिए एक संदर्भ है?
बंदर

@ सीधे नहीं, AUROC संभावना है कि एक यादृच्छिक रूप से चयनित + ve पैटर्न को बेतरतीब ढंग से चयनित -ve पैटर्न ( en.wikipedia.org/wiki/… ) से अधिक स्थान दिया जाएगा और इसलिए रैंकिंग की गुणवत्ता का एक उपाय है , जैसा कि हम चाहते हैं कि संभावना अधिक से अधिक हो।
डिक्रान मार्सुपियल

5

क्या AUC वास्तव में बहुत उपयोगी मीट्रिक है?

मैं कहूंगा कि अपेक्षित लागत अधिक उपयुक्त उपाय है।

तब आप सभी झूठी सकारात्मक के लिए एक लागत ए और सभी झूठी नकारात्मक के लिए लागत बी होगा। यह आसानी से हो सकता है कि अन्य वर्ग अन्य की तुलना में अधिक महंगा है। बेशक यदि आपके पास विभिन्न उप-समूहों में झूठे वर्गीकरण के लिए लागत है, तो यह और भी अधिक शक्तिशाली मीट्रिक होगा।

X- अक्ष में कट-ऑफ की साजिश रचने और फिर y- अक्ष पर अपेक्षित लागत से आप देख सकते हैं कि कट-ऑफ पॉइंट अपेक्षित लागत को कम करता है।

औपचारिक रूप से आपके पास एक हानि-फ़ंक्शन हानि (कट-ऑफ | डेटा, लागत) है जिसे आप कम करने की कोशिश करते हैं।


3
अपेक्षित लागत का केवल तभी मूल्यांकन किया जा सकता है जब आप झूठी-सकारात्मक और झूठी-नकारात्मक लागतों को जानते हैं, जो कि एयूसी की गणना के लिए आवश्यक नहीं हैं, जो कि लागत या अज्ञात चर का उपयोग करने के लिए एक अच्छा आंकड़ा है।
डिक्रान मार्सुपियल

4

जैसे सभी उत्तर पोस्ट किए गए हैं: ROCऔर accuracyमौलिक दो अलग अवधारणाएं हैं।

आम तौर पर बोलते हुए, ROCवर्ग वितरण और असमान भविष्यवाणी त्रुटि लागत (झूठी सकारात्मक और झूठी नकारात्मक लागत) से स्वतंत्र एक वर्गीकरणकर्ता की भेदभावपूर्ण शक्ति का वर्णन करता है।

मीट्रिक तरह accuracyके वर्ग वितरण के आधार पर गणना की जाती है test datasetया cross-validationहै, लेकिन क्योंकि अंतर्निहित वर्ग वितरण बदल दिया गया है या अज्ञात इस अनुपात, जब आप वास्तविक जीवन के आंकड़ों के वर्गीकारक लागू बदल सकते हैं। दूसरी ओर, TP rateऔर FP rateजो निर्माण करने के लिए उपयोग किए जाते हैं , वे AUCवर्ग वितरण स्थानांतरण से प्रभावित नहीं होंगे।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.