आरओसी बनाम सटीक-और-रिकॉल घटता है

159

मैं उनके बीच औपचारिक मतभेदों को समझता हूं, जो मैं जानना चाहता हूं वह यह है कि एक बनाम दूसरे का उपयोग करना अधिक प्रासंगिक है।

क्या वे हमेशा किसी दिए गए वर्गीकरण / पहचान प्रणाली के प्रदर्शन के बारे में पूरक अंतर्दृष्टि प्रदान करते हैं?
एक कागज में यह कहना, दोनों प्रदान करना कहां तक उचित है? सिर्फ एक के बजाय
क्या कोई विकल्प (शायद अधिक आधुनिक) वर्णनकर्ता हैं जो आरओसी और प्रासंगिक दोनों के प्रासंगिक पहलुओं को एक वर्गीकरण प्रणाली के लिए याद करते हैं?

मुझे बाइनरी और मल्टी-क्लास (जैसे एक-बनाम-सभी) मामलों के लिए तर्क में दिलचस्पी है।

machine-learning roc precision-recall

— अमेलियो वाज़केज़-रीना
स्रोत

यह पत्र सिर्फ एक संदर्भ में प्रदर्शित होना चाहिए: biostat.wisc.edu/~page/rocpr.pdf

मैं यहां अपने स्वयं के थीसिस का उल्लेख करने के लिए "प्लग" के लिए इसका उपयोग कर सकता हूं ... लीटनर (2012) में मैंने एफ के हार्मोनिक मतलब के रूप में "एफ-मापा औसत परिशुद्धता" (एफएपी) मीट्रिक (पी। 65 देखें) प्रस्तावित किया। उपाय और औसत परिशुद्धता। यानी, एक निर्धारित मूल्यांकन मीट्रिक के साथ एक सेट मूल्यांकन मीट्रिक का संयोजन। थीसिस में, मैंने दिखाया कि प्रशिक्षण सेट पर एफएपी स्कोर को अधिकतम करने के लिए एक अन्यथा अनधिकृत सूचना पुनर्प्राप्ति कार्य को नष्ट करने के लिए सबसे अच्छे कटऑफ की पहचान करने के लिए इस्तेमाल किया जा सकता है (बायोसिटिव रन के 100s का उपयोग करके!)।

— fnl

एक असंतुलित डेटासेट पर एयूसी-आरओसी और पीआर वक्र पर यहां एक और अच्छी चर्चा है । यह वही निष्कर्ष है जो dsimcha ने कहा था। जब आप दुर्लभ मामले के बारे में अधिक परवाह करते हैं, तो आपको पीआर का उपयोग करना चाहिए।

— YC

जवाबों:

207

महत्वपूर्ण अंतर यह है कि आरओसी घटता वही होगा जो बेसलाइन संभावना है, लेकिन सुई-इन-हिस्टैक प्रकार की समस्याओं या समस्याओं के लिए पीआर कर्व्स अधिक उपयोगी हो सकते हैं जहां "सकारात्मक" वर्ग नकारात्मक से अधिक दिलचस्प है कक्षा।

यह दिखाने के लिए, पहले शुद्धता, स्मरण और विशिष्टता को परिभाषित करने के लिए एक बहुत अच्छे तरीके से शुरू करते हैं। मान लें कि आपके पास "पॉज़िटिव" क्लास है जिसे 1 कहा जाता है और 0. " नामक एक" नेगेटिव "क्लास है, जो कि आपके असली सेल लेबल का अनुमान है । फिर: ध्यान देने योग्य बात यह है कि संवेदनशीलता / याद और विशिष्टता है। , जो आरओसी वक्र बनाते हैं , सत्य कक्षा लेबल पर वातानुकूलित संभावनाएं हैं । इसलिए, वे परवाह किए बिना समान होंगे । परिशुद्धता एक संभावना पर वातानुकूलित है $\hat{Y}$ $Y$

\begin{aligned} Precision & = P (Y = 1 | \hat{Y} = 1) \\ Recall = Sensitivity & = P (\hat{Y} = 1 | Y = 1) \\ Specificity & = P (\hat{Y} = 0 | Y = 0) \end{aligned}

$\begin{aligned} &\text{Precision} &= P(Y = 1 | \hat{Y} = 1) \\ &\text{Recall} = \text{Sensitivity} &= P(\hat{Y} = 1 | Y = 1) \\ &\text{Specificity} &= P(\hat{Y} = 0 | Y = 0) \end{aligned}$

P (Y = 1)

$P(Y = 1)$ वर्ग लेबल का आपका अनुमान और इस प्रकार अलग-अलग होगा यदि आप अलग-अलग आधारभूत साथ अलग-अलग आबादी में अपने वर्गीकरण का प्रयास करते हैं । हालांकि, यह व्यवहार में अधिक उपयोगी हो सकता है यदि आप केवल ज्ञात पृष्ठभूमि संभावना वाले एक आबादी की परवाह करते हैं और "सकारात्मक" वर्ग "नकारात्मक" वर्ग की तुलना में अधिक दिलचस्प है। (IIRC परिशुद्धता दस्तावेज़ रिट्रीवल फ़ील्ड में लोकप्रिय है, जहां यह मामला है।) ऐसा इसलिए है क्योंकि यह सीधे सवाल का जवाब देता है, "क्या संभावना है कि यह एक वास्तविक हिट है जिसे मेरा क्लासिफायर कहा गया है?"।

P (Y = 1)

$P(Y = 1)$

दिलचस्प बात यह है कि बेयस प्रमेय द्वारा आप ऐसे मामलों को हल कर सकते हैं जहां विशिष्टता बहुत अधिक हो सकती है और एक साथ बहुत कम सटीक हो सकती है। आपको बस इतना करना है कि को शून्य के बहुत करीब मान लें । व्यवहार में, मैंने डीएनए प्रदर्शन हिस्टैक्स में सुइयों की खोज करते समय इस प्रदर्शन विशेषता के साथ कई क्लासिफायर विकसित किए हैं। $P(Y = 1)$

IMHO जब एक पेपर लिखता है, तो आपको जो भी प्रश्न का उत्तर देना चाहिए, उसे उत्तर देना चाहिए (या जो भी आपके तरीके के अनुकूल हो, यदि आप निंदक हैं)। यदि आपका प्रश्न है: " मेरी समस्या के आधारभूत संभावनाओं को देखते हुए मेरे क्लासिफायरियर से सकारात्मक परिणाम कितना सार्थक है ?", पीआर वक्र का उपयोग करें। यदि आपका प्रश्न है, " विभिन्न आधारभूत संभावनाओं की एक किस्म में इस क्लासिफायर को सामान्य रूप से प्रदर्शन करने की कितनी अच्छी उम्मीद की जा सकती है ?", एक आरओसी वक्र के साथ जाएं।

— dsimcha
स्रोत

यह एक शानदार व्याख्या थी!

— अमिलियो वाज़केज़-रीना

+1, सटीक, स्मरण और विशिष्टता की संभाव्य व्याख्याओं पर महान अंतर्दृष्टि।

— ज़ुर्बर्ब

क्या जवाब है! काश मैं दो बार वोट डाल सकता।

— लंदन का लड़का

बस अगर यह मेरी पिछली टिप्पणी से स्पष्ट नहीं था: यह उत्तर गलत है , जैसे कि आरओसी वक्र हैं जो विशिष्टता का उपयोग करते हैं। देखें, उदाहरण के लिए, आरओसी विश्लेषण का एक परिचय - जो मेरे उत्तर में प्रलेखित के रूप में उनकी कमी पर भी संकेत देता है: "कई वास्तविक दुनिया डोमेन पर नकारात्मक उदाहरणों की बड़ी संख्या का प्रभुत्व है, इसलिए आरओसी ग्राफ़ के दूर-बाएं बाईं ओर का प्रदर्शन बन जाता है। अधिक दिलचस्प।"

— fnl

+0.5 @fnl स्पष्ट रूप से गलत नहीं होने के दौरान मुझे लगता है कि उत्तर प्रश्न के बिंदु को याद कर रहा है; संभाव्य व्याख्या बहुत स्वागत योग्य है लेकिन मूल प्रश्न के संबंध में यह बहुत ही कम है। इसके अलावा, मैं एक सामान्य यथार्थवादी उदाहरण के साथ नहीं आ सकता, जहां सवाल: " मेरी कक्षा के मेरी समस्या के आधारभूत संभावनाओं को देखते हुए मेरे सार्थक परिणाम कैसे सार्थक हैं? " अनुचित है। " सामान्य रूप में " आरओसी-एयूसी के परिप्रेक्ष्य अभी भी अस्पष्ट है। (यह बिना यह कहे चला जाता है कि अंतिम मॉडल के निर्माण के लिए न तो अंकित मूल्य का उपयोग किया जाना चाहिए)

— us11r11852

डेविस एंड गॉडरिक द्वारा आरओसी और पीआर स्पेस के बीच संबंधों को समझाते हुए एक पेपर के निष्कर्ष यहां दिए गए हैं । वे पहले दो प्रश्नों के उत्तर देते हैं:

सबसे पहले, किसी भी डाटासेट के लिए, किसी दिए गए एल्गोरिथ्म के लिए आरओसी वक्र और पीआर वक्र में समान बिंदु होते हैं। यह समानता, आश्चर्यजनक प्रमेय की ओर ले जाती है जो आरओसी अंतरिक्ष में एक वक्र पर हावी होती है यदि और केवल अगर यह पीआर अंतरिक्ष में हावी है। दूसरा, प्रमेय के लिए एक कोरोलरी के रूप में हम आरओसी अंतरिक्ष में उत्तल पतवार को पीआर स्पेस एनालॉग के अस्तित्व को दिखाते हैं, जिसे हम प्राप्त पीआर वक्र कहते हैं। उल्लेखनीय रूप से, जब प्राप्य पीआर वक्र का निर्माण होता है, तो एक ही बिंदु को छोड़ दिया जाता है, जो आरओसी अंतरिक्ष में उत्तल पतवार द्वारा छोड़ा जाता है। नतीजतन, हम कुशलता से प्राप्त पीआर वक्र की गणना कर सकते हैं। [...] अंत में, हम दिखाते हैं कि एक एल्गोरिथ्म जो आरओसी वक्र के तहत क्षेत्र का अनुकूलन करता है, पीआर वक्र के तहत क्षेत्र का अनुकूलन करने की गारंटी नहीं है।

दूसरे शब्दों में, सिद्धांत में, आरओसी और पीआर परिणामों की तुलना करने के लिए समान रूप से अनुकूल हैं। लेकिन उदाहरण के लिए 20 हिट्स और 1980 मिस के परिणाम के मामले में वे दिखाते हैं कि अंतर काफी कठोर हो सकता है, जैसा कि आंकड़े 11 और 12 में दिखाया गया है।

डेविस और Goadrich से आंकड़े 11 और 12

परिणाम / वक्र (I) एक परिणाम का वर्णन करता है जहां 20 हिट में से 10 शीर्ष दस रैंक में हैं और शेष 10 हिट फिर समान रूप से पहले 1500 रैंक पर फैल गए हैं। Resut (II) एक परिणाम का वर्णन करता है जहां 20 हिट समान रूप से पहले 500 (2000 में से) रैंक पर फैले हुए हैं। इसलिए ऐसे मामलों में जहां एक परिणाम "आकार" जैसे (आई) बेहतर होता है, यह वरीयता पीआर-स्पेस में स्पष्ट रूप से अलग है, जबकि दो परिणामों के एयूसी आरओसी लगभग बराबर हैं।

— FNL
स्रोत

ये रेखांकन वर्णित स्थिति को प्रतिबिंबित नहीं करते हैं, जो हर बार हिट होने के बाद आरओसी घटता है (वक्र 10 के लिए पहले 10 के बाद) में कदम दिखाएगा। ROCCH उत्तल हल के साथ इस तरह दिखेगा। इसी तरह, पीआर के लिए, सटीक हर बार एक पायदान टकराता था, जब एक हिट पाया जाता था, तब मिसाइलों के दौरान क्षय होता था, जिसकी शुरुआत (0,0) से हुई थी, कुछ भी भविष्यवाणी नहीं की गई थी (यदि सीमा से ऊपर) तो इस बिंदु पर 0 को परिभाषित किया गया था (0 /) 0) - जैसा दिखाया गया है कि वक्र II प्रत्येक थ्रेसहोल्ड (और इसलिए रिकॉल) स्तर पर अधिकतम सटीक नहीं है।

— डेविड एमडब्ल्यू पॉवर्स

यह वास्तव में मुझे मिले पेपर के संस्करण में अंजीर 7 है। कागज वास्तव में आरओसी वक्र का उपयोग करके पीआर वक्र को प्रक्षेपित करता है। ध्यान दें कि वर्चस्व परिणाम इस धारणा पर निर्भर करता है कि रिकॉल नॉनजेरो है, जो तब तक नहीं है जब तक कि पहली हिट न मिल जाए, और प्रिसिजन (जैसा कि पेपर में परिभाषित किया गया है) तब तक औपचारिक रूप से अपरिभाषित (0/0) है।

— डेविड एमडब्ल्यू पॉवर्स

हां, सही विवेक की कमी मुद्दा है (हालांकि अगर बड़ी संख्या में रनों का औसत हो तो ऐसा प्लॉट हो सकता है)। हालांकि पेपर का रिजल्ट कम होने की अपेक्षा है क्योंकि आप अपरिभाषित मुद्दों के कारण उम्मीद कर सकते हैं, और उतने महत्वपूर्ण नहीं हैं जितना आप अपेक्षा करते हैं जब आप रिजल्ट के संदर्भ में परिणाम को समझते हैं। मैं कभी भी PR का उपयोग नहीं करता, लेकिन मैं कभी-कभी ROC में स्केल कर देता या बराबर PN का उपयोग करता।

— डेविड एमडब्ल्यू पॉवर्स

अंजीर 7 (11 बनाम 12) के पहले रेखांकन अप्रासंगिक हैं - वे एक प्रशिक्षित प्रणाली के लिए चरणबद्ध रेखांकन नहीं हैं (जैसा कि सकारात्मक उदाहरण एक सीमा को कम करने से अधिक है), लेकिन विभिन्न प्रणालियों की संख्या के रूप में औसत को सीमित करने के अनुरूप हैं। दूसरा सटीक और रिकॉल वेब खोज के लिए डिस्गिन किया गया था और दोनों पूरी तरह से (नकारात्मक) बड़ी संख्या में सच नकारात्मक (Prec = TP / PP और Rec = TP / RP) को नकार दिया गया। तीसरा सटीक और रिकॉल ग्राफ वास्तव में केवल एक विशेष टीपी स्तर के लिए पारस्परिक पूर्वाग्रह (1 / पीपी) बनाम पारस्परिक प्रचलन (1 / आरपी) दिखा रहा है (यदि आप टीपी सही हिट पर एक वेबसर्च को रोकते हैं)।

— डेविड एमडब्ल्यू पॉवर्स

ठीक है, इसलिए अपने सभी संदेहों को दूर करने के बाद, मुझे लगता है कि पाठकों को यह सलाह देना आवश्यक है कि मेरा मानना है कि @DavidMWPowers उत्तर को मेरे ऊपर पसंद किया जाना चाहिए।

— fnl

मूल्यांकन को लेकर बहुत गलतफहमी है। इसका एक हिस्सा डेटा पर एल्गोरिदम को अनुकूलित करने की कोशिश करने के मशीन लर्निंग दृष्टिकोण से आता है, जिसमें डेटा में कोई वास्तविक रुचि नहीं है।

एक चिकित्सा संदर्भ में, यह वास्तविक दुनिया के परिणामों के बारे में है - उदाहरण के लिए, आप कितने लोगों को मरने से बचाते हैं। एक चिकित्सा संदर्भ में संवेदनशीलता (टीपीआर) का उपयोग यह देखने के लिए किया जाता है कि सकारात्मक मामलों में से कितने सही ढंग से उठाए गए हैं (अनुपात को गलत नकारात्मक = FNR के रूप में याद किया जाता है) जबकि विशिष्टता (TNR) का उपयोग यह देखने के लिए किया जाता है कि कितने नकारात्मक मामले सही हैं समाप्त (झूठी सकारात्मक = FPR के रूप में पाया अनुपात को कम से कम)। कुछ बीमारियों में एक लाख में से एक का प्रचलन है। इस प्रकार यदि आप हमेशा नकारात्मक का अनुमान लगाते हैं, तो आपके पास 0.999999 की सटीकता है - यह साधारण ज़ीरो सीखने वाले द्वारा प्राप्त किया जाता है जो कि अधिकतम वर्ग की भविष्यवाणी करता है। अगर हम रिकॉल और प्रिसिजन के बारे में भविष्यवाणी करने के लिए सोचते हैं कि आप बीमारी मुक्त हैं, तो हमारे पास जीरो के लिए रिकॉल = 1 और प्रिसिजन = 0.999999 है। बेशक, यदि आप + ve और -ve को उल्टा करते हैं और यह अनुमान लगाने की कोशिश करते हैं कि किसी व्यक्ति को ZeroR से बीमारी है, तो आपको रिकॉल = 0 और प्रिसिजन = अपरिभाषित मिलता है (जैसा कि आपने सकारात्मक भविष्यवाणी भी नहीं की थी, लेकिन अक्सर लोग प्रिसिजन को 0 के रूप में परिभाषित करते हैं। मामला)। ध्यान दें कि रिकॉल (+ ve रिकॉल) और व्युत्क्रम रिकॉल (-ve रिकॉल), और संबंधित TPR, FPR, TNR और FNR को हमेशा परिभाषित किया जाता है क्योंकि हम केवल समस्या से निपट रहे हैं क्योंकि हम जानते हैं कि भेद करने के लिए दो वर्ग हैं और हम जानबूझकर प्रदान करते हैं प्रत्येक के उदाहरण।

चिकित्सा संदर्भ में गायब कैंसर के बीच के भारी अंतर पर ध्यान दें (किसी की मृत्यु हो जाती है और आप पर मुकदमा दायर होता है) बनाम एक वेब खोज में एक कागज गायब हो जाता है (अच्छा मौका दूसरों में से एक इसे संदर्भित करेगा यदि इसके महत्वपूर्ण)। दोनों ही मामलों में इन त्रुटियों को झूठी नकारात्मक के रूप में चित्रित किया जाता है, बनाम नकारात्मक जनसंख्या। वेबसर्च मामले में हम स्वचालित रूप से सच्ची नकारात्मक लोगों की एक बड़ी आबादी प्राप्त करेंगे, क्योंकि हम केवल परिणाम की एक छोटी संख्या दिखाते हैं (जैसे 10 या 100) और नहीं दिखाया जा रहा है वास्तव में एक नकारात्मक भविष्यवाणी के रूप में नहीं लिया जाना चाहिए (यह 101 हो सकता है ), जबकि कैंसर परीक्षण मामले में हमारे पास हर व्यक्ति के लिए एक परिणाम है और वेबसर्च के विपरीत हम सक्रिय रूप से झूठे नकारात्मक स्तर (दर) को नियंत्रित करते हैं।

तो आरओसी वास्तविक सकारात्मक (वास्तविक सकारात्मक के अनुपात के रूप में गलत नकारात्मक) और झूठी सकारात्मक (बनाम वास्तविक नकारात्मक के अनुपात के रूप में वास्तविक नकारात्मक) के बीच व्यापार की खोज कर रहा है। यह संवेदनशीलता (+ ve रिकॉल) और विशिष्टता (-ve रिकॉल) की तुलना करने के बराबर है। एक पीएन ग्राफ भी है जो उसी तरह दिखता है जहां हम टीपीआर बनाम एफपीआर के बजाय टीपी बनाम एफपी की साजिश रचते हैं - लेकिन जब से हम प्लॉट स्क्वायर बनाते हैं, केवल वही अंतर होता है जो हम तराजू पर डालते हैं। वे कॉन्स्टेंट टीपीआर = टीपी / आरपी, एफपीआर = टीपी / आरएन से संबंधित हैं, जहां आरपी = टीपी + एफएन और आरएन = एफएन + एफपी डेटासेट में रियल पॉजिटिव और रियल नेगेटिव की संख्या हैं और इसके विपरीत पीपी / टीपी + एफपी और पीएन हैं। = TN + FN कई बार हम सकारात्मक या भविष्यवाणी नकारात्मक भविष्यवाणी करते हैं। ध्यान दें कि हम आरपी = आरपी / एन और आरएन = आरएन / एन को सकारात्मक सम्मान की व्यापकता कहते हैं। नकारात्मक और पीपी = पीपी / एन और आरपी = आरपी / एन सकारात्मक पूर्वाग्रह को पूर्वाग्रह।

यदि हम योग या औसत संवेदनशीलता और विशिष्टता या ट्रेडऑफ़ के तहत क्षेत्र को देखते हैं वक्र (आरओसी के बराबर एक्स-अक्ष को उलट कर) तो हमें एक ही परिणाम मिलता है अगर हम इंटरचेंज करते हैं कि कौन सी कक्षा + ve और + ve है। यह परिशुद्धता और रिकॉल के लिए सच नहीं है (जैसा कि ZeroR द्वारा बीमारी की भविष्यवाणी के साथ ऊपर सचित्र है)। यह मनमानी परिशुद्धता, रिकॉल और उनके औसत (चाहे अंकगणित, ज्यामितीय या हार्मोनिक) और ट्रेडऑफ ग्राफ़ की एक बड़ी कमी है।

पीआर, पीएन, आरओसी, एलआईएफटी और अन्य चार्ट को प्लॉट किया जाता है क्योंकि सिस्टम के मापदंडों को बदल दिया जाता है। प्रत्येक व्यक्ति प्रणाली के लिए यह शास्त्रीय रूप से कथानक इंगित करता है, अक्सर उस सीमा को बढ़ाने या घटाने के साथ जिस बिंदु पर सकारात्मक बनाम नकारात्मक वर्गीकृत किया जाता है।

कभी-कभी प्लॉट किए गए बिंदु एक ही तरीके से प्रशिक्षित (लेकिन अलग-अलग यादृच्छिक संख्याओं या नमूने या आदेशों का उपयोग करके) सिस्टम के सेट पर औसत (बदलते पैरामीटर / थ्रेसहोल्ड / एल्गोरिदम) हो सकते हैं। ये सैद्धांतिक निर्माण हैं जो हमें किसी विशेष समस्या पर उनके प्रदर्शन के बजाय सिस्टम के औसत व्यवहार के बारे में बताते हैं। ट्रेडऑफ़ चार्ट का उद्देश्य किसी विशेष एप्लिकेशन (डेटासेट और एप्रोच) के लिए सही ऑपरेटिंग पॉइंट चुनने में हमारी मदद करना है और यहीं से आरओसी को अपना नाम मिलता है (रिसीवर ऑपरेटिंग कैरेक्टर्स का उद्देश्य सूचना के अर्थ में प्राप्त जानकारी को अधिकतम करना है)।

आइए विचार करें कि रिकॉल या टीपीआर या टीपी के खिलाफ क्या साजिश रची जा सकती है।

टीपी बनाम एफपी (पीएन) - बिल्कुल अलग-अलग नंबरों के साथ आरओसी प्लॉट की तरह दिखता है

टीपीआर बनाम एफपीआर (आरओसी) - एयूसी के साथ एफपीआर के खिलाफ टीपीआर अपरिवर्तित है यदि +/- उलटा हो।

TPR बनाम TNR (alt ROC) - ROC की दर्पण छवि TNR = 1-FPR (TN + FP = RN) के रूप में

टीपी बनाम पीपी (एलआईएफटी) - सकारात्मक और नकारात्मक उदाहरणों के लिए एक्स इंक (नॉनलाइनियर स्ट्रेच)

TPR बनाम pp (alt LIFT) - अलग-अलग संख्याओं के साथ LIFT जैसा ही दिखता है

टीपी बनाम 1 / पीपी - लिफ्ट के समान (लेकिन नॉनलाइनर स्ट्रेच के साथ उलटा)

टीपीआर बनाम 1 / पीपी - टीपी बनाम 1 / पीपी के समान दिखता है (y- अक्ष पर अलग संख्या)

टीपी बनाम टीपी / पीपी - समान है लेकिन एक्स-एक्सिस के विस्तार के साथ (टीपी = एक्स -> टीपी = एक्स * टीपी)

टीपीआर बनाम टीपी / पीपी - कुल्हाड़ियों पर अलग-अलग संख्याओं के साथ समान दिखता है

आखिरी रिकॉल बनाम सटीक है!

इन रेखांकन के लिए किसी भी घटता पर ध्यान दें जो अन्य घटता (बेहतर या कम से कम सभी बिंदुओं पर उच्च) पर इन परिवर्तनों के बाद भी हावी रहेगा। चूंकि वर्चस्व का मतलब है "कम से कम उच्च" हर बिंदु पर, उच्च वक्र में भी "कम से कम उतना ही उच्च" वक्र (AUC) के तहत एक क्षेत्र है क्योंकि इसमें वक्र के बीच का क्षेत्र भी शामिल है। रिवर्स सच नहीं है: यदि कर्व्स को काटते हैं, तो स्पर्श करने के विपरीत, कोई प्रभुत्व नहीं है, लेकिन एक एयूसी अभी भी दूसरे से बड़ा हो सकता है।

सभी परिवर्तन आरओसी या पीएन ग्राफ के किसी विशेष भाग में अलग-अलग (गैर-रैखिक) तरीकों से प्रतिबिंबित और / या ज़ूम होते हैं। हालांकि, केवल आरओसी की वक्र के तहत क्षेत्र की अच्छी व्याख्या है (संभावना है कि एक सकारात्मक नकारात्मक से अधिक रैंक किया गया है - मैन-व्हिटनी यू स्टेटिस्टिक) और वक्र के ऊपर की दूरी (संभावना है कि अनुमान लगाने के बजाय एक सूचित निर्णय किया जाता है - यूडेन जे। आँकड़ा के विचित्र रूप के रूप में आँकड़ा)।

आम तौर पर, पीआर ट्रेडऑफ़ वक्र का उपयोग करने की कोई आवश्यकता नहीं होती है और यदि विस्तार की आवश्यकता होती है, तो आप बस आरओसी वक्र में ज़ूम कर सकते हैं। आरओसी वक्र में अद्वितीय गुण है जो विकर्ण (TPR = FPR) मौका का प्रतिनिधित्व करता है, कि संभावना रेखा (DAC) के ऊपर की दूरी सूचना या सूचित निर्णय की संभावना का प्रतिनिधित्व करती है, और वक्र (AUC) के तहत क्षेत्र रैंकिडनेस का प्रतिनिधित्व करता है या सही जोड़ीदार रैंकिंग की संभावना। ये परिणाम पीआर वक्र के लिए पकड़ में नहीं आते हैं, और एयूसी उच्चतर रिकॉल या टीपीआर के लिए विकृत हो जाता है जैसा कि ऊपर बताया गया है। पीआर एयूसी बड़ा नहीं है imply ROC AUC बड़ा है और इस प्रकार यह रैंक मेंडनेस नहीं बढ़ाता है (रैंक की संभावना +/- जोड़े का सही अनुमान लगाया जा रहा है - अर्थात यह कितनी बार + से ऊपर ves की भविष्यवाणी करता है) और इम्पेक्टेडनेस बढ़ने की बजाय सूचित नहीं करता है। एक यादृच्छिक अनुमान - अर्थात कितनी बार यह जानता है कि जब यह भविष्यवाणी करता है तो यह क्या कर रहा है)।

क्षमा करें - कोई रेखांकन नहीं! यदि कोई उपरोक्त परिवर्तनों को दर्शाने के लिए रेखांकन जोड़ना चाहता है, तो यह बहुत अच्छा होगा! मैं आरओसी, लिफ्ट, बर्ड, कापा, एफ उपाय, Informedness, आदि के बारे में मेरे पत्र में काफी कुछ है, लेकिन वे काफी इस तरीके से प्रस्तुत नहीं कर रहे हैं, हालांकि LIFT बर्ड आरपी बनाम बनाम बनाम आरओसी के चित्र में हैं https : //arxiv.org/pdf/1505.00401.pdf

अद्यतन: अधिक उत्तर या टिप्पणियों में पूर्ण स्पष्टीकरण देने की कोशिश करने से बचने के लिए, यहाँ मेरे कुछ शोधपत्र हैं, जो सटीक बनाम रिकॉल ट्रेडऑफ़ के साथ समस्या की "खोज" कर रहे हैं। एफ 1, अनौपचारिकता को प्राप्त करने और फिर आरओसी, कप्पा, सिग्नेचर, डेल्टापी, एयूसी, आदि के साथ रिश्तों की "खोज" कर रहा है। यह एक समस्या है जो मेरे छात्रों में से 20 साल पहले (एंटविसल) में टकरा गई थी और तब से बहुत कुछ पाया गया जब से कि असली का उदाहरण आया उनका अपना अनुभवजन्य प्रमाण था कि आर / पी / एफ / ए दृष्टिकोण ने शिक्षार्थी को गलत तरीके से भेजा, जबकि सूचना (या उपयुक्त मामलों में कप्पा या सहसंबंध) ने उन्हें सही तरीके से भेजा - अब दर्जनों क्षेत्रों में। कप्पा और आरओसी पर अन्य लेखकों द्वारा कई अच्छे और प्रासंगिक पेपर भी हैं, लेकिन जब आप कप्पा बनाम आरओसी एयूसी बनाम आरओसी ऊंचाई (सूचना या Youden) का उपयोग करते हैं एस जे) को 2012 के प्रश्नपत्रों की सूची में स्पष्ट किया गया है (दूसरों के कई महत्वपूर्ण कागजात उन्हें उद्धृत किए गए हैं)। 2003 का बुकमेकर पेपर पहली बार मल्टीक्लास केस के लिए इन्फॉर्मेडनेस के लिए एक फॉर्मूला है। 2013 का पेपर Adaboost को अनुकूलित करने के लिए अनुकूलित किए गए Adaboost के एक बहुस्तरीय संस्करण को प्राप्त करता है (संशोधित Weka के लिंक के साथ जो इसे होस्ट करता है और चलाता है)।

संदर्भ

1998 एनएलपी पार्सर्स के मूल्यांकन में आंकड़ों का वर्तमान उपयोग। जे एंटविसल, डीएमडब्ल्यू पॉवर्स - भाषा प्रसंस्करण में नए तरीकों पर संयुक्त सम्मेलनों की कार्यवाही: 215-224 https://dl.acm.org/citation.cfm?id=1603935 15 द्वारा उद्धृत

2003 बुकमेकर बनाम रिकॉल एंड प्रिसिजन। DMW पॉवर्स - संज्ञानात्मक विज्ञान पर अंतर्राष्ट्रीय सम्मेलन: 529-534 http://dspace2.flinders.edu.au/xmlui/handle/2328/27159 46 द्वारा उद्धृत

2011 मूल्यांकन: सटीक, रिकॉल और एफ-माप से आरओसी, सूचना, चिह्नितता और सहसंबंध। DMW पॉवर्स - जर्नल ऑफ़ मशीन लर्निंग टेक्नोलॉजी 2 (1): 37-63। http://dspace2.flinders.edu.au/xmlui/handle/2328/27165 C 1749

2012 कप्पा के साथ समस्या। DMW पॉवर्स - यूरोपीय ACL के 13 वें सम्मेलन की कार्यवाही: 345-355 https://dl.acm.org/citation.cfm?id=2380859 63 द्वारा उद्धृत

2012 आरओसी-कॉन्सर्ट: आरओसी-आधारित मापन की संगति और निश्चितता। DMW पॉवर्स - इंजीनियरिंग और प्रौद्योगिकी पर स्प्रिंग कांग्रेस (S-CET) 2: 238-241 http://www.academia.edu/download/31939951/201203-SCET30795-ROC-ConCert-Pn1124774.pdf 5 द्वारा उद्धृत

2013 ADABOOK & MULTIBOOK:: संभावना सुधार के साथ अनुकूल बूस्टिंग। DMW पॉवर्स- नियंत्रण, स्वचालन और रोबोटिक्स में सूचना विज्ञान पर ICINCO अंतर्राष्ट्रीय सम्मेलन http://www.academia.edu/download/31947210/201309-ABookBook-ICINCO-SCITE-Harvard-2upc>poster.pdf

https://www.dropbox.com/s/artzz1l3vozb6c4/weka.jar (goes into Java Class Path)
https://www.dropbox.com/s/dqws9ixew3egraj/wekagui   (GUI start script for Unix)
https://www.dropbox.com/s/4j3fwx997kq2xcq/wekagui.bat  (GUI shortcut on Windows)

4 द्वारा उद्धृत

— डेविड एमडब्ल्यू पॉवर्स
स्रोत

> "वक्र के नीचे का क्षेत्र रैंकेडनेस या सही जोड़ीदार रैंकिंग की संभावना का प्रतिनिधित्व करता है" मुझे लगता है, यही वह जगह है जहां हम असहमत हैं - आरओसी केवल भूखंड में रैंकिंग गुणवत्ता को प्रदर्शित करता है । हालांकि, एयूसी पीआर एक एकल संख्या है जो मुझे तुरंत बताती है कि कौन सी रैंकिंग बेहतर है (यानी, परिणाम I II परिणाम पर बेहतर है)। एयूसी आरओसी के पास यह संपत्ति नहीं है।

— fnl

वर्चस्व के परिणाम fnl cites का अर्थ है कि कब हुआ, यदि ROC में एक वक्र हावी होता है, तो यह PR और इसके विपरीत में होता है, और इसका अर्थ है कि इसका दोनों में उच्च क्षेत्र है, और इस प्रकार OOC और PR AUC के बीच कोई गुणात्मक अंतर नहीं है। रेंकडनेस (मैन-व्हिटनी यू) के बारे में उद्धरण एक अच्छी तरह से स्थापित मात्रात्मक परिणाम पुनः संभावना है (एक महत्व परीक्षण का हिस्सा) जिसे आरओसी के स्वतंत्र रूप से अनुशंसित किया गया था, लेकिन बाद में आरओसी एयूसी पाया गया। इसी तरह मुखबिरता को मूल रूप से स्वतंत्र रूप से परिभाषित किया गया था, और बाद में आरओसी के ऑपरेटिंग बिंदु की ऊंचाई के अनुरूप साबित हुआ। पीआर का ऐसा कोई परिणाम नहीं है।

— डेविड एमडब्ल्यू पॉवर्स

जैसा कि मैंने पहले कहा है कि यह केवल वर्चस्व की स्थिति के तहत स्केलिंग का मामला है ("बहुत बड़ा" क्योंकि मैं एक बड़ी संख्या से गुणा करता हूं जैसा कि मैं विस्तार से समझाता हूं), लेकिन गैर-वर्चस्व की शर्तों के तहत AUC PR भ्रामक है और AUC ROC एक है एक उपयुक्त संभाव्य व्याख्या (मान-व्हिटनी यू या रैंकेडनेस) है, जिसमें गिन्नी (या समकक्ष यूडेन जे या इंफॉर्मेडनेस, स्केलिंग के बाद) के अनुरूप एकल ऑपरेटिंग पॉइंट केस है।

— डेविड एमडब्ल्यू पॉवर्स

यदि हम एकल ऑपरेटिंग बिंदु (एसओसी) AUC को सादगी के लिए मानते हैं, तो Gini गुणांक = AUC = (TP / RP + TN / RN) / 2 और सूचनात्मकता = Youden J = TP / RP + TN / RN - 1 = संवेदनशीलता + विशिष्टता -1 = टीपीआर + टीएनएफ -1 = रिकॉल + इनवर्स रिकॉल - 1 इत्यादि को अधिकतम करना या तो समतुल्य है, लेकिन बाद वाला एक सूचित निर्णय की संभावना है (जानबूझकर गलत अगर -वी)। यदि आरएन और टीएन दोनों टीएन >> एफपी के साथ अनन्तता में जाते हैं तो टीएन / आरएन -> 1 और रद्द कर देता है इसलिए आप जिन मामलों का हवाला देते हैं, उन्हें सूचित करें। यदि इसके बजाय विशाल वर्ग आरपी और टीपी >> एफएन है तो टीपी / आरपी -> 1 और सूचना = उलटा याद। रेफ देखें

— डेविड एमडब्ल्यू पॉवर्स 12

यह एक बहुत ही उपयोगी उत्तर डेविड पॉवर्स है। लेकिन मेरी अज्ञानता को माफ़ करें, जब आप कहते हैं, 'आम तौर पर, पीआर ट्रेडऑफ़ वक्र का उपयोग करने की कोई आवश्यकता नहीं है और आप बस विस्तार से आवश्यकता होने पर आरओसी वक्र में ज़ूम कर सकते हैं।', मैं वास्तव में ऐसा कैसे कर सकता हूं और आपको कोई और दे सकता है। विस्तार से आपका क्या मतलब है? क्या इसका मतलब है कि मैं किसी तरह से गंभीर रूप से असंतुलित मामले में आरओसी वक्र का उपयोग कर सकता हूं? 'FPR या TPR अधिक वजन देने से AUC ROC स्कोर बड़े परिणाम अंतर, उत्कृष्ट बिंदु के साथ उत्पन्न होगा!' मैं अपने आरओसी के साथ ऐसा कैसे करूं?

— क्रिस्टोफर जॉन