झूठी और सच्ची सकारात्मक दर दिखाने वाले इस चार्ट का नाम क्या है और यह कैसे उत्पन्न होता है?

Question

नीचे दी गई छवि झूठी सकारात्मक दरों बनाम वास्तविक सकारात्मक दरों के निरंतर वक्र को दर्शाती है:

हालाँकि, मुझे तुरंत क्या नहीं मिलता है कि इन दरों की गणना कैसे की जा रही है। यदि कोई विधि डेटासेट में लागू होती है, तो इसमें एक निश्चित FP दर और एक निश्चित FN दर होती है। इसका मतलब यह नहीं है कि प्रत्येक विधि एक वक्र के बजाय एक ही बिंदु होना चाहिए? बेशक, एक विधि को कॉन्फ़िगर करने के कई तरीके हैं, कई अलग-अलग बिंदुओं का उत्पादन करते हैं, लेकिन यह मेरे लिए स्पष्ट नहीं है कि दरों की यह निरंतरता कैसे है या यह कैसे उत्पन्न होता है।

Comments

मैं चाहूंगा कि यह कहां से आया है। ऐसा प्रतीत होता है कि चेहरा पहचानने / पहचानने के समय Baidu 100% सही (और लोगों से बेहतर) है। या तो यह या Baidu के परिणामों को मानव वर्गीकरण के बजाय जमीनी सच्चाई के रूप में उपयोग कर रहा है, जो वास्तव में अजीब भी है।

— मोनिका

@OrangeDog bamos.github.io/2016/01/19/openface-0.2.0

— Axoren

ठीक है, उन्होंने विभिन्न प्रयोगों के परिणामों को मिलाया, और उनके स्रोत डेटा को गलत तरीके से गोल किया। Baidu 0.9977 000 0.0006 होना चाहिए

— रोकना बंद करें मोनिका

संयोग से, आपने याद किया कि आपके स्रोत का जवाब था: "आरओसी वक्र को पढ़ने के बारे में अधिक जानकारी के लिए विकिपीडिया देखें।"

— मोनिका

@ ऑरेंजडॉग 0.9977 000 0.0006 एलयूएफ परिणाम पृष्ठ से Baidu की सटीकता है , एयूसी नहीं। यह भ्रामक है क्योंकि LFW परिणाम पृष्ठ में इस स्तंभ के लिए कोई शीर्षक नहीं है। हालांकि, उनका v4 arxiv पेपर इस संख्या को सटीकता के रूप में प्रस्तुत करता है। मैंने इस समारोह में उनके वक्र पर AUC की गणना की है । हालांकि 1.000 का एयूसी भ्रमित करने वाला है, मेरा मानना ​​है कि मेरी तकनीक वैध है।

— ब्रैंडन आमोस

Answer 1

प्लॉट आरओसी कर्व है और अलग-अलग थ्रेसहोल्ड के लिए फाल्स पॉजिटिव रेट, ट्रू पॉजिटिव रेट) पॉइंट्स की गणना की जाती है। मान लें कि आपके पास एक समान उपयोगिता फ़ंक्शन है, तो इष्टतम सीमा मूल्य उस बिंदु (0, 1) के सबसे करीब है।

Comments

तो इस प्रकार के वक्र के लिए यह आवश्यक है कि विधि में आराम करने योग्य सीमा पैरामीटर हो?

— एक्सोरन

हां, लेकिन दहलीज कई चीजें हो सकती हैं उदाहरण के लिए एक प्रशिक्षित मॉडल के लिए लॉग संभावना का परीक्षण डेटा या एसवीएम के लिए अलग हाइपरप्लेन की दूरी को देखते हुए।

— मोर्टन

उदाहरण के लिए, विकर्ण रेखा एक यादृच्छिक अनुमान एल्गोरिथ्म है; पैरामीटर "किस संभावना के साथ हम TRUE का अनुमान लगाएंगे?"

— मोनिका

Answer 2

ROC घटता उत्पन्न करने के लिए (= रिसीवर ऑपरेटिंग कैरेक्टर घटता):

मान लें कि हमारे पास एक संभाव्य, द्विआधारी क्लासिफायर जैसे लॉजिस्टिक रिग्रेशन है। आरओसी वक्र प्रस्तुत करने से पहले, भ्रम मैट्रिक्स की अवधारणा को समझना होगा। जब हम एक द्विआधारी भविष्यवाणी करते हैं, तो 4 प्रकार की त्रुटियां हो सकती हैं:

• हम 0 की भविष्यवाणी करते हैं जबकि हमारे पास होना चाहिए वर्ग वास्तव में 0 है: इसे ट्रू नेगेटिव कहा जाता है , अर्थात हम सही ढंग से भविष्यवाणी करते हैं कि कक्षा नकारात्मक है (0)। उदाहरण के लिए, एक एंटीवायरस ने वायरस के रूप में एक हानिरहित फ़ाइल का पता नहीं लगाया।
• हम 0 की भविष्यवाणी करते हैं जबकि हमारे पास होना चाहिए वर्ग वास्तव में 1 है: इसे गलत नकारात्मक कहा जाता है , अर्थात हम गलत तरीके से भविष्यवाणी करते हैं कि वर्ग नकारात्मक है (0)। उदाहरण के लिए, एक एंटीवायरस वायरस का पता लगाने में विफल रहा।
• हम 1 की भविष्यवाणी करते हैं जबकि हमारे पास होना चाहिए वर्ग वास्तव में 0 है: इसे गलत सकारात्मक कहा जाता है , अर्थात हम गलत अनुमान लगाते हैं कि वर्ग सकारात्मक है (1)। उदाहरण के लिए, एक एंटीवायरस एक हानिरहित फ़ाइल को वायरस मानता था।
• हम 1 की भविष्यवाणी करते हैं जबकि हमारे पास होना चाहिए वर्ग वास्तव में 1 है: इसे एक सच्चा सकारात्मक कहा जाता है , अर्थात हम सही ढंग से भविष्यवाणी करते हैं कि वर्ग सकारात्मक है (1)। उदाहरण के लिए, एक एंटीवायरस ने वायरस का सही पता लगाया।

भ्रम मैट्रिक्स प्राप्त करने के लिए, हम मॉडल द्वारा की गई सभी भविष्यवाणियों पर जाते हैं, और गिनते हैं कि उन 4 प्रकार की त्रुटियों में से प्रत्येक कितनी बार होती है:

एक भ्रम मैट्रिक्स के इस उदाहरण में, वर्गीकृत किए गए 50 डेटा बिंदुओं में से 45 सही ढंग से वर्गीकृत किए गए हैं और 5 मिसकॉलिफ़ाइड हैं।

चूंकि दो अलग-अलग मॉडलों की तुलना करना अक्सर एक से अधिक लोगों के बजाय एक मीट्रिक होना अधिक सुविधाजनक होता है, हम भ्रम मैट्रिक्स से दो मैट्रिक्स की गणना करते हैं, जिसे हम बाद में एक में जोड़ देंगे:

• सही सकारात्मक दर ( टीपीआर ), उर्फ। संवेदनशीलता, हिट रेट और रिकॉल , जिसे रूप में परिभाषित किया गया है$\frac{TP}{TP+FN}$
• झूठी सकारात्मक दर ( एफपीआर ), उर्फ। फॉल-आउट , जिसे रूप में परिभाषित किया गया है$\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

इस आंकड़े में, नीला क्षेत्र रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (AUROC) के क्षेत्र के अंतर्गत आता है। विकर्ण में धराशायी रेखा हम एक यादृच्छिक भविष्यवक्ता के आरओसी वक्र को प्रस्तुत करते हैं: इसमें 0.5 का एयूआरओसी है। यादृच्छिक भविष्यवक्ता आमतौर पर यह देखने के लिए आधार रेखा के रूप में उपयोग किया जाता है कि क्या मॉडल उपयोगी है।

यदि आप कुछ पहले हाथ अनुभव प्राप्त करना चाहते हैं:

• पायथन: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

Answer 3

मोर्टन का जवाब सही ढंग से शीर्षक में प्रश्न को संबोधित करता है - आंकड़ा वास्तव में, एक आरओसी वक्र है। यह उनकी वास्तविक सकारात्मक दरों के खिलाफ झूठी सकारात्मक दरों (FPR) के अनुक्रम की साजिश रचने से उत्पन्न होता है।

हालाँकि, मैं उस प्रश्न का उत्तर देना चाहूंगा जो आप अपनी पोस्ट के शरीर में पूछते हैं।

यदि कोई विधि डेटासेट में लागू होती है, तो इसमें एक निश्चित FP दर और एक निश्चित FN दर होती है। इसका मतलब यह नहीं है कि प्रत्येक विधि एक वक्र के बजाय एक ही बिंदु होना चाहिए? बेशक, एक विधि को कॉन्फ़िगर करने के कई तरीके हैं, कई अलग-अलग बिंदुओं का उत्पादन करते हैं, लेकिन यह मेरे लिए स्पष्ट नहीं है कि दरों की यह निरंतरता कैसे है या यह कैसे उत्पन्न होता है।

कई मशीन सीखने के तरीकों में समायोज्य पैरामीटर हैं। उदाहरण के लिए, लॉजिस्टिक रिग्रेशन का आउटपुट क्लास मेंबरशिप की अनुमानित संभावना है। एक निर्णय कुछ थ्रेशोल्ड से ऊपर की संभावनाओं के साथ सभी बिंदुओं को एक वर्ग में वर्गीकृत करने के लिए, और बाकी से दूसरे में, अलग-अलग टीपीआर और एफपीआर आँकड़ों के साथ क्लासिफायरफायर का एक लचीला रेंज बना सकता है। यादृच्छिक वन के मामले में भी ऐसा ही किया जा सकता है, जहां कोई पेड़ों के वोटों या एसवीएम पर विचार कर रहा है, जहां आप हाइपरप्लेन से हस्ताक्षरित दूरी पर विचार कर रहे हैं।

उस मामले में जहां आप आउट-ऑफ-सैंपल प्रदर्शन का अनुमान लगाने के लिए क्रॉस-वैरिफिकेशन कर रहे हैं, टीपीआर और एफपीआर के एक सीक्वेंस को उत्पन्न करने के लिए प्रिडिक्शन वैल्यूज़ (वोट, प्रोबेबिलिटीज़, हस्ताक्षरित दूरियाँ) का उपयोग करना है। यह आमतौर पर एक स्टेप फंक्शन की तरह दिखता है, क्योंकि आमतौर पर टीपी से एफएन या एफपी से एफएन तक केवल एक बिंदु चलता है, प्रत्येक अनुमानित मूल्य पर (यानी सभी आउट-ऑफ-सैंपल अनुमानित मूल्य अद्वितीय हैं)। इस मामले में, जबकि टीपीआर और एफपीआर की गणना के लिए विकल्पों की एक निरंतरता है , टीपीआर और एफपीआर फ़ंक्शन निरंतर नहीं होंगे क्योंकि केवल बहुत से आउट-ऑफ-सैंपल बिंदु हैं, इसलिए परिणामस्वरूप घटता एक चरण-समान उपस्थिति होगा। ।

Answer 4

विकिपीडिया से:

आरओसी वक्र को पहले द्वितीय विश्व युद्ध के दौरान इलेक्ट्रिकल इंजीनियरों और रडार इंजीनियरों द्वारा युद्ध के मैदानों में दुश्मन की वस्तुओं का पता लगाने के लिए विकसित किया गया था और जल्द ही उत्तेजनाओं की अवधारणात्मक पहचान के लिए मनोविज्ञान में पेश किया गया था। आरओसी विश्लेषण तब से कई दशकों से चिकित्सा, रेडियोलॉजी, बायोमेट्रिक्स और अन्य क्षेत्रों में उपयोग किया जाता है और इसका उपयोग मशीन लर्निंग और डेटा खनन अनुसंधान में तेजी से किया जाता है।

आरओसी को एक रिश्तेदार ऑपरेटिंग विशेषता वक्र के रूप में भी जाना जाता है, क्योंकि यह दो ऑपरेटिंग विशेषताओं (TPR और FPR) की तुलना मानदंड में परिवर्तन के रूप में है।

आप दो अक्षों को लागत के रूप में सोच सकते हैं जो बाइनरी क्लासिफायर के संचालन के लिए आवश्यक होने चाहिए। आदर्श रूप में आप जितना संभव हो उतना कम सकारात्मक सकारात्मक दर के लिए एक झूठी सकारात्मक दर उठाना चाहते हैं। क्या आप चाहते हैं कि बाइनरी क्लासिफायरियर जितना संभव हो उतने सच्चे सकारात्मक के लिए कुछ झूठी सकारात्मक कॉल करें।

इसे ठोस बनाने के लिए एक वर्गीकरण की कल्पना करें जो यह पता लगा सके कि क्या कुछ बायोमार्कर की मात्रा को मापने से एक निश्चित बीमारी मौजूद है। कल्पना कीजिए कि बायोमार्कर का मान 0 (अनुपस्थित) से 1 (संतृप्त) तक होता है। किस स्तर पर बीमारी का पता लगाना अधिकतम हो जाता है? यह मामला हो सकता है कि कुछ स्तर से ऊपर बायोमार्कर कुछ लोगों को रोग होने के रूप में वर्गीकृत करेगा, फिर भी उन्हें बीमारी नहीं है। ये झूठे सकारात्मक हैं। फिर निश्चित रूप से ऐसे लोग हैं जिन्हें इस बीमारी के रूप में वर्गीकृत किया जाएगा जब वे वास्तव में बीमारी करते हैं। ये सही सकारात्मक हैं।

आरओसी सभी संभावित सीमा मूल्यों को ध्यान में रखते हुए झूठी सकारात्मक के अनुपात के खिलाफ सभी सकारात्मक के सकारात्मक अनुपात का आकलन करता है।