AUC क्या है और यह क्या है?

228

उच्च और निम्न को खोजा गया है और यह पता लगाने में सक्षम नहीं है कि भविष्यवाणी के संबंध में एयूसी क्या है, इसका मतलब है या इसका मतलब है।

— हंसी मजाक करना
स्रोत

8

के वर्णन की जाँच करें auc: आप का इस्तेमाल किया टैग stats.stackexchange.com/questions/tagged/auc

— टिम

4

कर्व (यानी, ROC वक्र) के तहत क्षेत्र

— Andrej

7

यहां पढ़ने वाले भी निम्नलिखित सूत्र में रुचि ले सकते हैं: आरओसी वक्र को समझना ।

— गुंग

11

अभिव्यक्ति "उच्च और निम्न खोज" दिलचस्प है क्योंकि आप Google में "AUC" या "AUC आँकड़े" लिखकर AUC के लिए बहुत सारी उत्कृष्ट परिभाषाएँ / उपयोग पा सकते हैं। बेशक उचित सवाल है, लेकिन उस बयान ने मुझे गार्ड से पकड़ लिया!

— बहकाद

3

मैंने Google AUC किया था लेकिन बहुत सारे शीर्ष परिणाम स्पष्ट रूप से AUC = Area Under Curve नहीं बताए। इससे संबंधित पहला विकिपीडिया पृष्ठ इसके पास है लेकिन आधे रास्ते से नीचे तक नहीं है। पूर्वव्यापी में यह स्पष्ट प्रतीत होता है! आप सभी को वास्तव में विस्तृत उत्तर के लिए धन्यवाद

— josh

308

लघुरूप

AUC = वक्र के नीचे का क्षेत्र।
AUROC = रिसीवर ऑपरेटिंग कैरेक्टर कर्व के तहत क्षेत्र ।

एयूआरसी का मतलब एयूसीसी का सबसे अधिक उपयोग किया जाता है, जो कि एक बुरा व्यवहार है क्योंकि मार्क क्लेन ने कहा कि एयूसी अस्पष्ट है (किसी भी वक्र हो सकता है) जबकि एयूआरओसी नहीं है।

AUROC की व्याख्या करना

AUROC की कई समकक्ष व्याख्याएँ हैं :

यह अपेक्षा कि एक समान रूप से खींचा गया यादृच्छिक धनात्मक एक समान रूप से खींचे गए यादृच्छिक ऋणात्मक से पहले क्रमबद्ध है।
एक समान रूप से तैयार किए गए यादृच्छिक नकारात्मक से पहले रैंक किए गए सकारात्मक का अपेक्षित अनुपात।
अपेक्षित वास्तविक सकारात्मक दर अगर रैंकिंग समान रूप से तैयार किए गए यादृच्छिक नकारात्मक से ठीक पहले विभाजित हो जाती है।
एक समान रूप से तैयार किए गए यादृच्छिक सकारात्मक के बाद रैंक किए गए नकारात्मक अनुपातों का अपेक्षित अनुपात।
अपेक्षित गलत सकारात्मक दर यदि रैंकिंग समान रूप से एक यादृच्छिक यादृच्छिक सकारात्मक के बाद विभाजित हो जाती है।

आगे जा रहे हैं: AUROC की संभाव्य व्याख्या कैसे प्राप्त करें?

AUROC की गणना करना

मान लें कि हमारे पास एक संभाव्य, द्विआधारी क्लासिफायरियर जैसे लॉजिस्टिक रिग्रेशन है।

आरओसी वक्र (= रिसीवर ऑपरेटिंग कैरेक्टर वक्र) प्रस्तुत करने से पहले, भ्रम मैट्रिक्स की अवधारणा को समझना चाहिए। जब हम एक द्विआधारी भविष्यवाणी करते हैं, तो 4 प्रकार के परिणाम हो सकते हैं:

हम 0 की भविष्यवाणी करते हैं, जबकि वास्तविक वर्ग वास्तव में 0 है: इसे ट्रू नेगेटिव कहा जाता है , अर्थात हम सही रूप से भविष्यवाणी करते हैं कि वर्ग नकारात्मक है (0)। उदाहरण के लिए, एक एंटीवायरस ने वायरस के रूप में एक हानिरहित फ़ाइल का पता नहीं लगाया।
हम 0 की भविष्यवाणी करते हैं जबकि वास्तविक वर्ग वास्तव में 1 है: इसे गलत नकारात्मक कहा जाता है , अर्थात हम गलत अनुमान लगाते हैं कि वर्ग नकारात्मक है (0)। उदाहरण के लिए, एक एंटीवायरस वायरस का पता लगाने में विफल रहा।
हम 1 की भविष्यवाणी करते हैं जबकि वास्तविक वर्ग वास्तव में 0 है: इसे गलत सकारात्मक कहा जाता है , अर्थात हम गलत अनुमान लगाते हैं कि वर्ग सकारात्मक है (1)। उदाहरण के लिए, एक एंटीवायरस एक हानिरहित फ़ाइल को वायरस मानता था।
हम 1 की भविष्यवाणी करते हैं, जबकि सच्चा वर्ग वास्तव में 1 है: इसे सच्चा सकारात्मक कहा जाता है , अर्थात हम सही रूप से भविष्यवाणी करते हैं कि वर्ग सकारात्मक है (1)। उदाहरण के लिए, एक एंटीवायरस ने वायरस का सही पता लगाया।

भ्रम मैट्रिक्स प्राप्त करने के लिए, हम मॉडल द्वारा की गई सभी भविष्यवाणियों पर जाते हैं, और गिनते हैं कि उन 4 प्रकार के परिणामों में से प्रत्येक कितनी बार होता है:

यहां छवि विवरण दर्ज करें

एक भ्रम मैट्रिक्स के इस उदाहरण में, वर्गीकृत किए गए 50 डेटा बिंदुओं में से 45 सही ढंग से वर्गीकृत किए गए हैं और 5 मिसकॉलिफ़ाइड हैं।

चूंकि दो अलग-अलग मॉडलों की तुलना करना अक्सर एक से अधिक मीट्रिक के बजाय कई लोगों के लिए सुविधाजनक होता है, हम भ्रम मैट्रिक्स से दो मैट्रिक्स की गणना करते हैं, जिसे हम बाद में एक में संयोजित करेंगे:

सही सकारात्मक दर ( टीपीआर ), उर्फ। संवेदनशीलता, हिट रेट और रिकॉल , जिसे रूप में परिभाषित किया गया है $\frac{TP}{TP+FN}$ । वास्तव में यह मीट्रिक सकारात्मक डेटा बिंदुओं के अनुपात से मेल खाती है, जिन्हें सभी सकारात्मक डेटा बिंदुओं के संबंध में सही रूप से सकारात्मक माना जाता है। दूसरे शब्दों में, उच्च TPR, कम सकारात्मक डेटा बिंदु जो हम याद करेंगे।
झूठी सकारात्मक दर ( एफपीआर ), उर्फ। फॉल-आउट , जिसे रूप में परिभाषित किया गया है $\frac{FP}{FP+TN}$ । सहज रूप से यह मीट्रिक नकारात्मक डेटा बिंदुओं के अनुपात से मेल खाती है जिन्हें गलती से सकारात्मक माना जाता है, सभी नकारात्मक डेटा बिंदुओं के संबंध में। दूसरे शब्दों में, उच्चतर एफपीआर, अधिक नकारात्मक डेटा बिंदुओं को गलत तरीके से याद किया जाएगा।

एक एकल मीट्रिक में FPR और TPR गठबंधन करने के लिए, हम पहले कई अलग अलग सीमा के साथ दो पूर्व मेट्रिक्स की गणना (उदाहरण के लिए $0.00; 0.01, 0.02, \dots, 1.00$ ) रसद प्रतिगमन के लिए है, तो उन्हें एक ही ग्राफ पर, साथ साजिश एफ़सीएसए पर एफपीआर मान और अध्यादेश पर टीपीआर मूल्य। परिणामी वक्र को ROC वक्र कहा जाता है, और जिस मीट्रिक को हम मानते हैं, वह इस वक्र का AUC है, जिसे हम AUROC कहते हैं।

निम्नलिखित आंकड़ा AUROC को ग्राफिक रूप से दिखाता है:

यहां छवि विवरण दर्ज करें

इस आंकड़े में, नीला क्षेत्र रिसीवर ऑपरेटिंग कैरेक्टर (AUROC) के वक्र के नीचे के क्षेत्र से मेल खाता है। विकर्ण में धराशायी लाइन हम एक यादृच्छिक भविष्यवक्ता के आरओसी वक्र को प्रस्तुत करते हैं: इसमें 0.5 का एयूआरओसी है। यादृच्छिक भविष्यवक्ता आमतौर पर यह देखने के लिए आधार रेखा के रूप में उपयोग किया जाता है कि क्या मॉडल उपयोगी है।

यदि आप कुछ पहले हाथ अनुभव प्राप्त करना चाहते हैं:

पायथन: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

— फ्रेंक डर्नोनकोर्ट
स्रोत

4

शानदार व्याख्या। धन्यवाद। एक प्रश्न बस यह स्पष्ट करने के लिए कि मैं समझता हूं: क्या मैं यह कहने में सही हूं कि इस ग्राफ पर, एक ठोस नीले वर्ग में ROC वक्र (AUC = 1) होगा और एक अच्छा पूर्वानुमान मॉडल होगा? मुझे लगता है कि यह सैद्धांतिक रूप से संभव है।

— जोश

25

@ जोश हां, यह सही है। AUROC 0 और 1 के बीच है, और AUROC = 1 का मतलब है कि भविष्यवाणी मॉडल एकदम सही है। वास्तव में, आगे AUROC 0.5 से है, बेहतर है: यदि AUROC <0.5, तो आपको बस अपने मॉडल के निर्णय को पलटना होगा। परिणामस्वरूप, अगर AUROC = 0, यह अच्छी खबर है क्योंकि आपको एक आदर्श मॉडल प्राप्त करने के लिए बस अपने मॉडल के आउटपुट को पलटना होगा।

— फ्रेंक डर्नोनकोर्ट

1

लिंक "कई समतुल्य व्याख्याएं" टूटी हुई है।

— हाइताओ डू

1

AUROC व्याख्याओं में "अपेक्षित गलत सकारात्मक दर यदि रैंकिंग समान रूप से यादृच्छिक यादृच्छिक सकारात्मक के बाद विभाजित हो गई है।", क्या यह (1 - FPR) नहीं होना चाहिए?

— मुदित जैन

1

@ ryu576 आदर्श रूप से आरओसी वक्र में अंकों की संख्या वास्तव में परीक्षण नमूनों की संख्या है।

— फ्रेंक डर्नोनकोर्ट

60

हालाँकि मुझे पार्टी में थोड़ी देर हो गई है, लेकिन यहाँ मेरे 5 सेंट हैं। @FranckDernoncourt (+1) ने पहले ही एयूसी आरओसी की संभावित व्याख्याओं का उल्लेख किया है, और मेरा पसंदीदा उसकी सूची में पहला है (मैं विभिन्न शब्दों का उपयोग करता हूं, लेकिन यह एक ही है):

एक क्लासिफायरियर का एयूसी इस संभावना के बराबर है कि क्लासिफायर एक बेतरतीब ढंग से चुने गए सकारात्मक उदाहरण को रैंडमली नेगेटिव उदाहरण यानी से अधिक रैंक करेगा। $P\Big(\text{score}(x^+) > \text{score}(x^-)\Big)$

इस उदाहरण पर विचार करें (auc = 0.68):

यहां छवि विवरण दर्ज करें

आइए इसे अनुकरण करने का प्रयास करें: यादृच्छिक सकारात्मक और नकारात्मक उदाहरणों को आकर्षित करें और फिर उन मामलों के अनुपात की गणना करें, जब सकारात्मक नकारात्मक से अधिक स्कोर होते हैं

cls = c('P', 'P', 'N', 'P', 'P', 'P', 'N', 'N', 'P', 'N', 'P',
        'N', 'P', 'N', 'N', 'N', 'P', 'N', 'P', 'N')
score = c(0.9, 0.8, 0.7, 0.6, 0.55, 0.51, 0.49, 0.43, 0.42, 0.39, 0.33, 
          0.31, 0.23, 0.22, 0.19, 0.15, 0.12, 0.11, 0.04, 0.01)

pos = score[cls == 'P']
neg = score[cls == 'N']

set.seed(14)
p = replicate(50000, sample(pos, size=1) > sample(neg, size=1))
mean(p)

और हमें 0.67926 मिलता है। काफी करीब है, है ना?

वैसे, आरआई में आमतौर पर आरओसी घटता ड्राइंग और एयूसी की गणना के लिए आरओसीआर पैकेज का उपयोग करते हैं ।

library('ROCR')

pred = prediction(score, cls)
roc = performance(pred, "tpr", "fpr")

plot(roc, lwd=2, colorize=TRUE)
lines(x=c(0, 1), y=c(0, 1), col="black", lwd=1)

auc = performance(pred, "auc")
auc = unlist(auc@y.values)
auc

यहां छवि विवरण दर्ज करें

— एलेक्सी ग्रिगोरव
स्रोत

अच्छा लगा। दूसरा ग्रे ब्लॉक निश्चित रूप से प्लॉटिंग विधि को स्पष्ट करता है।

— josh

+1 (पहले से)। ऊपर मैंने एक और सूत्र से जोड़ा है जहाँ आपने संबंधित विषय में बहुत अच्छा योगदान दिया है। यह यहाँ @ FranckDernoncourt के पोस्ट की तारीफ करने और इसे और बेहतर बनाने में मदद करता है।

— गुंग

1

R पैकेज द्वारा निर्मित ROC वक्र में, रंग किस लिए खड़ा होता है? क्या आप कृपया इसमें कुछ विवरण जोड़ सकते हैं। धन्यवाद !

— 1

ऊपर के ग्रे बॉक्स में स्पष्टीकरण के लिए सही सकारात्मक और वास्तविक नकारात्मक जोड़ना संभव होगा ? अन्यथा यह थोड़ा भ्रमित करने वाला हो सकता है।

— सेलेली

42

इनमें से किसी भी चर्चा में महत्वपूर्ण विचार शामिल नहीं हैं। ऊपर चर्चा की गई प्रक्रियाएं अनुचित थ्रेसहोल्डिंग को आमंत्रित करती हैं और अनुचित सटीकता स्कोरिंग नियमों (अनुपातों) का उपयोग करती हैं जो कि गलत विशेषताओं को चुनकर और उन्हें गलत भार देकर अनुकूलित किया जाता है।

इष्टतम निर्णय सिद्धांत के सामने निरंतर भविष्यवाणियों के Dichotomization मक्खियों। आरओसी घटता कोई कार्रवाई योग्य जानकारी प्रदान नहीं करता है। वे शोधकर्ताओं द्वारा लाभों की जांच किए बिना अनिवार्य हो गए हैं। उनके पास एक बहुत बड़ी स्याही है: सूचना अनुपात।

इष्टतम निर्णय "सकारात्मक" और "नकारात्मक" पर विचार नहीं करते, बल्कि परिणाम की अनुमानित संभावना पर विचार करते हैं। उपयोगिता / लागत / हानि फ़ंक्शन, जो आरओसी निर्माण में कोई भूमिका नहीं निभाता है, इसलिए आरओसी की बेकारता, जोखिम अनुमान को इष्टतम (जैसे, सबसे कम अपेक्षित नुकसान) निर्णय में अनुवाद करने के लिए उपयोग किया जाता है।

एक सांख्यिकीय मॉडल का लक्ष्य अक्सर एक भविष्यवाणी करना होता है, और विश्लेषक को अक्सर वहां रुकना चाहिए क्योंकि विश्लेषक नुकसान फ़ंक्शन को नहीं जान सकता है। निष्पक्षता को मान्य करने के लिए भविष्यवाणी के प्रमुख घटक (जैसे, बूटस्ट्रैप का उपयोग करना) भविष्य कहनेवाला भेदभाव है (इसे मापने का एक अर्ध-अच्छा तरीका है समवर्ती संभावना जो आरओसी के तहत क्षेत्र के बराबर होती है लेकिन आप आसानी से समझ सकते हैं अगर आप डॉन ' आरओसी ड्रा नहीं) और अंशांकन वक्र। यदि आप किसी निरपेक्ष पैमाने पर भविष्यवाणियों का उपयोग कर रहे हैं, तो अंशांकन सत्यापन वास्तव में आवश्यक है।

अधिक जानकारी के लिए बायोमैटिकल रिसर्च और अन्य अध्यायों के लिए बायोस्टैटिस्टिक्स में सूचना हानि अध्याय देखें।

— फ्रैंक हैरेल
स्रोत

2

हर दूसरा उत्तर गणितीय सूत्रों पर केंद्रित होता है जिनकी कोई व्यावहारिक उपयोगिता नहीं है। और एकमात्र सही उत्तर में कम से कम उत्थान है।

— अधिकतम

6

मैं प्रोफेसर हैरेल से इस विषय पर प्रतीत होने वाले गूढ़ उत्तर प्राप्त कर रहा हूं - वे इस तरह से महान हैं कि वे आपको कठिन सोचने पर मजबूर करते हैं। मेरा मानना है कि वह यह संकेत दे रहा है कि आप एचआईवी (काल्पनिक उदाहरण) के लिए एक स्क्रीनिंग टेस्ट में झूठे नकारात्मक मामलों को स्वीकार नहीं करना चाहते हैं, भले ही गलत नकारात्मक प्रतिशत अधिक स्वीकार कर रहे हों (गलत तरीके से झूठी सकारात्मक को कम करने के लिए) आपकी कटऑफ बिंदु पर जगह बना सकते हैं एयूसी मैक्सिमा पर। क्रूर ओवरसिम्लीफिकेशन के लिए क्षमा करें।

— एंटनी परेलाडा

यहाँ

— एंटोनी परेलाडा सेप

17

AUC वक्र के नीचे के क्षेत्र के लिए एक पृथक्करण है । इसका उपयोग वर्गीकरण विश्लेषण में किया जाता है ताकि यह निर्धारित किया जा सके कि कौन सा उपयोग किया गया मॉडल सर्वश्रेष्ठ रूप से कक्षाओं की भविष्यवाणी करता है।

इसके आवेदन का एक उदाहरण आरओसी वक्र हैं। यहां, सकारात्मक सकारात्मक दरों को झूठी सकारात्मक दरों के खिलाफ साजिश रची जाती है। एक उदाहरण नीचे है। एक मॉडल के लिए करीब AUC 1 के लिए आता है, बेहतर है। तो उच्चतर AUCs वाले मॉडल कम AUC वाले लोगों को अधिक पसंद आते हैं।

कृपया ध्यान दें, आरओसी घटता के अलावा अन्य तरीके भी हैं, लेकिन वे वास्तविक सकारात्मक और झूठी सकारात्मक दरों से भी संबंधित हैं, जैसे सटीक-याद, एफ 1-स्कोर या लॉरेंज घटता।

एक आरओसी वक्र का उदाहरण

— अनजान व्यक्ति
स्रोत

2

क्या आप कृपया 0/1 परिणाम के सरल क्रॉसवेलाइडेशन के संदर्भ में आरओसी वक्र की व्याख्या कर सकते हैं? मैं यह अच्छी तरह से नहीं जानता कि उस मामले में वक्र का निर्माण कैसे किया जाता है।

— उत्सुक

9

$\tau$

$A$
$B$ $A$
$\tau$

$P(A>\tau)$ $P(B>\tau)$

$\tau$ $AUC$

हमें मिला:

ए यू सी = \int_{0}^{1} टी पी आर (एक्स) घ एक्स = \int_{0}^{1} पी (ए > τ (एक्स)) घ एक्स

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & ए यू सी = इ_{एक्स} [पी (ए > τ (एक्स))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$

x \sim U [0, 1)

$x \sim U[0,1)$

$x$ $FPR$

एक्स = एफ पी आर = पी (बी > τ (एक्स))

$x=FPR = P(B>\tau(x))$

x

$x$

पी (बी > τ (एक्स)) ~ यू

$P(B>\tau(x)) \sim U$

=> पी (बी < τ (एक्स)) ~ (1 - यू) ~ यू

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => {एफ}_{बी} (τ (एक्स)) ~ यू \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

$X$ $F_X(Y) \sim U$ $Y \sim X$

{एफ}_{एक्स} (एक्स) = पी ({एफ}_{एक्स} (एक्स) < एक्स) = पी (एक्स < {एफ}_{एक्स}^{- 1} (एक्स)) = {एफ}_{एक्स} {एफ}_{एक्स}^{- 1} (एक्स) = एक्स

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$

τ (एक्स) ~ बी

$\tau(x) \sim B$

इसे समीकरण में प्रतिस्थापित करने से (1) हमें प्राप्त होता है:

ए यू सी = इ_{एक्स} (पी (ए > बी)) = पी (ए > बी)

$AUC=E_x(P(A>B))=P(A>B)$

दूसरे शब्दों में, वक्र के नीचे का क्षेत्र इस बात की संभावना है कि एक यादृच्छिक सकारात्मक नमूने में एक यादृच्छिक नकारात्मक नमूने की तुलना में उच्च स्कोर होगा।

— ryu576
स्रोत