आरओसी घटता के लाभ

15

आरओसी घटता के क्या फायदे हैं?

उदाहरण के लिए मैं कुछ छवियों को वर्गीकृत कर रहा हूं जो एक द्विआधारी वर्गीकरण समस्या है। मैंने लगभग 500 सुविधाओं को निकाला और सुविधाओं के एक सेट का चयन करने के लिए सुविधाओं के चयन एल्गोरिथ्म को लागू किया फिर मैंने वर्गीकरण के लिए एसवीएम लागू किया। इस मामले में मैं आरओसी वक्र कैसे प्राप्त कर सकता हूं? क्या मुझे अपनी सुविधा चयन एल्गोरिथ्म की दहलीज मूल्यों को बदलना चाहिए और आरओसी वक्र बनाने के लिए आउटपुट की संवेदनशीलता और विशिष्टता प्राप्त करनी चाहिए?

मेरे मामले में आरओसी वक्र बनाने का उद्देश्य क्या है?

machine-learning roc

— user570593
स्रोत

2

टॉम फॉसेट द्वारा "आरओसी विश्लेषण के लिए एक परिचय" ने मुझे आरओसी घटता को बेहतर ढंग से समझने में मदद की। यदि आप इस विषय पर अतिरिक्त साहित्य की तलाश कर रहे हैं तो आप इसका आनंद ले सकते हैं।

— अलेक्जेंडर

ठीक है लेकिन आप दो क्लासिफायर की तुलना करने के लिए क्या करेंगे? यदि वे थ्रेसहोल्ड का उपयोग करते हैं ताकि नीरथ विशिष्टता और संवेदनशीलता मिलान बहुत निकट से हो तो मुझे नहीं लगता कि आरओसी पर अधिक कविताओं में लुकइन के बिना कॉम्प्पर करना आसान है।

— माइकल आर। चेरिक

यह शायद ही कभी classifiers विकसित करने के लिए उपयुक्त है, और वर्गीकरण त्रुटि एक अनुचित स्कोरिंग नियम है। सच्ची भविष्यवाणियों की गुणवत्ता की तुलना करने के लिए कई उच्च-शक्ति विधियां हैं, और वे आरओसी घटता की तुलना में अधिक सहज हैं। उदाहरण के लिए देखें यह ।

— फ्रैंक हरेल

13

कई द्विआधारी वर्गीकरण एल्गोरिदम एक प्रकार के वर्गीकरण स्कोर की गणना करते हैं (कभी-कभी लेकिन हमेशा यह लक्ष्य राज्य में होने की संभावना नहीं होती है), और वे इस आधार पर वर्गीकृत करते हैं कि स्कोर एक निश्चित सीमा से ऊपर है या नहीं। आरओसी वक्र को देखने से आप मॉडलिंग तकनीक द्वारा चुने गए एक के बजाय सभी संभावित थ्रेसहोल्ड के लिए संवेदनशीलता और विशिष्टता के बीच व्यापार देख सकते हैं। अलग-अलग वर्गीकरण के उद्देश्य वक्र पर एक बिंदु को एक कार्य के लिए अधिक उपयुक्त और दूसरे को एक अलग कार्य के लिए उपयुक्त बना सकते हैं, इसलिए आरओसी वक्र को देखना एक सीमा के विकल्प से स्वतंत्र मॉडल का आकलन करने का एक तरीका है।

— माइकल मैकगोवन
स्रोत

जवाब देने के लिए धन्यवाद। यह वास्तव में उपयोगी है। आरओसी वक्र के आधार पर सीमा का निर्धारण करने के लिए वैसे भी क्या है? और मेरे मामले में मैं संवेदनशीलता के लिए ROC स्थान में एक बिंदु कैसे प्राप्त कर सकता हूं = 100% या विशिष्टता = 100%। क्योंकि मैं सुविधा चयन एल्गोरिथ्म की दहलीज बदल रहा हूं।

— user570593

1

आरओसी वक्र आपको सभी संभावित थ्रेसहोल्ड पर संवेदनशीलता और विशिष्टता दिखाता है, इसलिए यदि आप एक बिंदु पाते हैं जो सही ट्रेडऑफ़ का प्रतिनिधित्व करता है, तो आप उस बिंदु के साथ जाने वाली सीमा का चयन कर सकते हैं।

— माइकल मैकगोवन

क्या सही ट्रेडऑफ़ का चयन करने का कोई स्वचालित तरीका है या क्या मुझे अपने द्वारा ट्रेडऑफ़ का चयन करना चाहिए? और मेरे मामले में मैं संवेदनशीलता के लिए ROC स्थान में एक बिंदु कैसे प्राप्त कर सकता हूं = 100% या विशिष्टता = 100%। क्योंकि मैं सुविधा चयन एल्गोरिथ्म की दहलीज बदल रहा हूं।

— user570593

2

यदि आपके पास एक अच्छी तरह से परिभाषित मानदंड है (उदाहरण के लिए परिशुद्धता को अधिकतम करना), तो यह स्वचालित हो सकता है। लेकिन एक समस्या के लिए एक अच्छा व्यापार दूसरे के लिए घटिया हो सकता है।

— माइकल मैकगोवन

2

100% की संवेदनशीलता या विशिष्टता तुच्छता से न्यूनतम या अधिकतम मूल्य पर अपनी सीमा निर्धारित करके प्राप्त की जा सकती है ... क्या यह वास्तव में आप क्या चाहते हैं?

— माइकल मैकगोवन

11

पिछले कुछ वर्षों में मैंने देखा कि 99% मामलों में आरओसी घटता जानकारीपूर्ण नहीं है। उन्हें कई सांख्यिकीविदों और यहां तक कि अधिक मशीन सीखने वाले चिकित्सकों द्वारा अनिवार्य माना जाता है। और सुनिश्चित करें कि आपकी समस्या वास्तव में एक वर्गीकरण समस्या है और जोखिम आकलन समस्या नहीं है। आरओसी घटता के साथ समस्याओं के दिल में यह है कि वे उपयोगकर्ताओं को निरंतर चर के लिए कटपॉइंट का उपयोग करने के लिए आमंत्रित करते हैं, और वे पीछे की संभावनाओं का उपयोग करते हैं, अर्थात, घटनाओं की संभावनाएं जो रिवर्स टाइम ऑर्डर (संवेदनशीलता और विशिष्टता) में हैं। आरओसी घटता का उपयोग विशेष व्यापार मामलों को छोड़कर इष्टतम ट्रेडऑफ को खोजने के लिए नहीं किया जा सकता है, जहां एक निर्णय नियम के उपयोगकर्ता विश्लेषक को अपने नुकसान (लागत, उपयोगिता) कार्य को समाप्त करते हैं।

— फ्रैंक हैरेल
स्रोत

मैं फ्रैंक से पूरी तरह सहमत नहीं हूं। मुझे लगता है कि आरओसी के एयूसी का उपयोग करना अक्सर एक समस्या है। लेकिन गुणात्मक रूप से मुझे लगता है कि यह एल्गोरिदम की तुलना करने में मददगार हो सकता है। बस एक ही बिंदु पर विशिष्टता और संवेदनशीलता को देखना लगभग जानकारीपूर्ण नहीं है। इसके अलावा, मुझे यकीन नहीं है कि उनका जवाब वास्तव में प्रश्न को संबोधित करता है क्योंकि ओपी वास्तव में अपने मामले में जानना चाहता है कि यह 99% गैर-सूचनात्मक मामलों या 1% जो कि बदनाम हैं, में क्यों पड़ता है।

— माइकल आर। चेरिक

हाय माइकल - मैं सिर्फ इतना जोड़ूंगा कि मुझे सामान्यीकृत सहित उचित स्कोरिंग नियमों का उपयोग करना पसंद है

R^{2}

$R^2$ उपाय, बैरियर स्कोर (जैसे कि चुकता त्रुटि)। मैं वास्तव में क्या करना पसंद करता हूं यह दिखाना है कि भविष्यवाणियां सटीक हैं।

— फ्रैंक हरेल

@FrankHarrell "99% जानकारीपूर्ण नहीं थे" से आपका क्या मतलब है? वे किस प्रकार के मामले थे और ROCC का उपयोग कब सही होगा? साथ ही सामान्यीकरण कैसे किया जाता है

R^{2}

$R^2$ बाइनरी समस्याओं के लिए बेहतर उपाय? मैं उत्सुक हूं क्योंकि ऐसा लगता है कि आपके पास आरओसीसी के खिलाफ काफी मजबूत भावना है और मुझे आश्चर्य है कि पृष्ठभूमि क्या है।

— मोमो

1

@FrankHarrell लेकिन आप दो एल्गोरिदम की तुलना कैसे करते हैं जब वे विशिष्टता और संवेदनशीलता पर बहुत निकट से मेल नहीं खाते हैं?

— माइकल आर। चेरिक

7

@ मैमो - मेरा मतलब है कि आरओसी वक्र को देखने से मॉडल के प्रदर्शन को बहुत अच्छी तरह से समझने में मदद नहीं मिली, और इससे भी अधिक आरओसी वक्र किसी भी अंतर्दृष्टि या अच्छे व्यवहार के लिए नेतृत्व नहीं किया। सामान्यीकृत

R^{2}

$R^2$ उपाय संभावना अनुपात के सरल अनुवाद हैं

χ^{2}

$\chi^2$ आंकड़े और इतने शक्तिशाली हैं। माइकल - मैं बैकवर्ड टाइम ऑर्डर के कारण संवेदनशीलता या विशिष्टता में वास्तव में दिलचस्पी नहीं रखता। मैं जानना चाहता हूं कि 0.2 के अनुमानित जोखिम का मतलब है कि वास्तविक जोखिम 0.2 के बहुत करीब है, और मैं एक रैंक सहसंबंध माप या सामान्यीकृत द्वारा मापा के रूप में सभ्य भविष्य कहनेवाला भेदभाव चाहता हूं।

R^{2}

$R^2$ ।

— फ्रैंक हरेल

1

आरओसी वक्र बनाने के बाद, एयूसी (वक्र के नीचे का क्षेत्र) की गणना की जा सकती है। एयूसी कई थ्रेसहोल्ड में परीक्षण की सटीकता है। AUC = 1 का मतलब है कि परीक्षण एकदम सही है। AUC = .5 का अर्थ है बाइनरी वर्गीकरण के लिए संयोग से प्रदर्शन करना।

यदि कई मॉडल हैं, तो AUC विभिन्न मॉडलों में तुलना करने के लिए एकल माप प्रदान करता है। किसी भी एक उपाय के साथ हमेशा ट्रेड-ऑफ होते हैं लेकिन AUC शुरू करने के लिए एक अच्छी जगह है।

— ब्रायन स्पिरिंग
स्रोत

1

मुझे लगता है कि यह खतरनाक सोच है। AUROC केवल बाइनरी में ही उपयोगी IMHO है

Y

$Y$ मामला यह समवर्ती संभावना के बराबर है (

c

$c$ -index; Wilcoxon statistic; Somers'

D_{x y}

$D_{xy}$ rank correlation coefficient). Drawing the entire ROC leads to dichotomous thinking.

— Frank Harrell

0

The AUC does not compare classes real vs. predicted with each other. It is not looking at the predicted class, but the prediction score or the probability. You can do the prediction of the class by applying a cutoff to this score, say, every sample that got a score below 0.5 is classified as negative. But the ROC comes before that happens. It is working with the scores/class-probabilities.

यह इन अंकों को लेता है और उस स्कोर के अनुसार सभी नमूनों को क्रमबद्ध करता है। अब, जब भी आपको एक पॉजिटिव सैंपल मिलता है, आरओसी-कर्व एक स्टेप अप (वाई-एक्सिस के साथ) बनाता है। जब भी आप एक नकारात्मक नमूना पाते हैं तो आप सही (x- अक्ष के साथ) चलते हैं। यदि वह स्कोर दो वर्गों के लिए अलग है, तो सकारात्मक नमूने पहले (आमतौर पर) आते हैं। इसका मतलब है कि आप दाईं ओर से अधिक कदम बढ़ाते हैं। आगे की सूची में नकारात्मक नमूने आएंगे, इसलिए आप बाईं ओर चलते हैं। जब आप नमूनों की पूरी सूची के माध्यम से आप समन्वय (1,1) तक पहुंचते हैं जो सकारात्मक के 100% और नकारात्मक नमूनों के 100% से मेल खाती है।

यदि स्कोर पूरी तरह से सकारात्मक को उन नकारात्मक नमूनों से अलग करता है जिन्हें आप (x = 0, y = 0) से (1,0) और फिर वहाँ से (1, 1) तक ले जाते हैं। तो, वक्र के नीचे का क्षेत्र 1 है।

यदि आपके स्कोर में सकारात्मक और नकारात्मक नमूनों के लिए समान वितरण है, तो सॉर्ट की गई सूची में एक सकारात्मक या नकारात्मक नमूना खोजने की संभावनाएं बराबर हैं और इसलिए आरओसी-वक्र में स्थानांतरित होने या छोड़ने की संभावनाएं बराबर हैं। यही कारण है कि आप विकर्ण के साथ आगे बढ़ते हैं, क्योंकि आप अनिवार्य रूप से ऊपर और बाएं, और ऊपर और बाएं, और इतने पर ... जो लगभग 0.5 का AROC मान देता है।

असंतुलित डेटासेट के मामले में, स्टेपलाइज अलग है। तो, आप बाईं ओर छोटे चरण बनाते हैं (यदि आपके पास अधिक नकारात्मक नमूने हैं)। यही कारण है कि स्कोर असंतुलन से अधिक या कम स्वतंत्र है।

आरओसी वक्र के साथ, आप कल्पना कर सकते हैं कि आपके नमूने कैसे अलग हो गए हैं और वक्र के नीचे का क्षेत्र द्विआधारी वर्गीकरण एल्गोरिदम या किसी भी चर के प्रदर्शन को मापने के लिए एक बहुत अच्छा मीट्रिक हो सकता है जिसका उपयोग अलग-अलग कक्षाओं में किया जा सकता है।

आकृति विभिन्न नमूना आकारों के साथ समान वितरण दिखाती है। काले क्षेत्र से पता चलता है कि सकारात्मक और नकारात्मक नमूनों के यादृच्छिक मिश्रणों के आरओसी-घटता की उम्मीद की जाएगी।

— सोरेन
स्रोत

ये ग्राफ कोई अंतर्दृष्टि प्रदान नहीं करते हैं और एक असाधारण उच्च स्याही है: सूचना अनुपात IMHO। उचित सटीकता स्कोर के साथ छड़ी: fharrell.com/post/class-damage fharrell.com/post/addvalue

— फ्रैंक

इन ग्राफों में एकल आयामी सटीकता स्कोर की तुलना में अधिक जानकारी है। एक ही स्कोर कई अलग-अलग वितरणों से आ सकता है। क्या आपको जल्दी पहचान है? क्या आपके पास सकारात्मक नमूनों के कई वर्ग हैं जो अलग-अलग व्यवहार करते हैं? क्या आपका परिणाम सांख्यिकीय रूप से महत्वपूर्ण है? उन सभी प्रश्नों का उत्तर उन ग्राफ़ों को देखकर स्पष्ट हो सकता है और एक ही सटीकता स्कोर के साथ संबोधित करना असंभव है।

— सोरेन

I seriously question that consumers and analysts can get insight from these curves that is anywhere near as intuitive as showing a calibration curve overlaid with a high-resolution histogram showing the predicted values. And each point on the ROC curve is an improper accuracy score.

— Frank Harrell

Beginners often have a hard time understanding these curves. Therefore, I wouldn't necessarily recommend to show it to consumers in order to advertise your product. I think, there you want something that is more simplistic. The curve is more than the individual points though.

— Sören