इसका क्या मतलब है कि AUC एक अर्ध-उचित स्कोरिंग नियम है?


16

एक उचित स्कोरिंग नियम एक नियम है जो एक 'सच्चे' मॉडल द्वारा अधिकतम किया जाता है और यह सिस्टम को 'हेजिंग' या गेमिंग करने की अनुमति नहीं देता है (जानबूझकर विभिन्न परिणामों की रिपोर्ट करना जैसा कि मॉडल में स्कोर को बेहतर बनाने के लिए सही विश्वास है)। बैरियर स्कोर उचित है, सटीकता (सही ढंग से वर्गीकृत अनुपात) अनुचित और अक्सर हतोत्साहित किया जाता है। कभी-कभी मैं देखता हूं कि एयूसी को एक अर्ध-उचित स्कोरिंग नियम कहा जाता है जो इसे पूरी तरह से सटीकता के रूप में फर्जी नहीं बनाता है, लेकिन उचित नियमों की तुलना में कम संवेदनशील है (उदाहरण के लिए यहां /stats//a/90705/53084 )।

अर्ध-उचित स्कोरिंग नियम का क्या अर्थ है? क्या इसे कहीं परिभाषित किया गया है?


एक स्रोत या संदर्भ जहां आप शब्द देखते हैं, लोगों को खोदने में मदद कर सकता है?
सिक्सयांग।उउ

मेरा मानना ​​है कि इस तथ्य के साथ यह करना है कि संभावना मूल्यांकन के मामले में एयूसी, समवर्ती सूचकांक के बराबर है, जो एक उचित स्कोर है। लेकिन फ्रैंक हैरेल के जवाब के लिए यह एक सवाल की तरह लगता है: आंकड़े.stackexchange.com/users/4253/frank-harrell
Brash इक्विलिब्रियम

2
जहां तक ​​मुझे पता है, एयूसी कंसर्ड इंडेक्स है, जो प्रॉपर नहीं है।
rep_ho

जवाबों:


14

एक उदाहरण से शुरू करते हैं। बता दें कि एलिस एक ट्रैक कोच हैं और आगामी खेल स्पर्धा, 200 मीटर स्प्रिंट में टीम का प्रतिनिधित्व करने के लिए एक एथलीट चुनना चाहती हैं। स्वाभाविक रूप से वह सबसे तेज धावक चुनना चाहती है।

  • एक कड़ाई से उचित स्कोरिंग नियम 200 मीटर की दूरी पर टीम के सबसे तेज धावक को नामांकित करना होगा। यह ठीक उसी स्थिति में बताता है कि ऐलिस इस स्थिति में कोच से क्या चाहती है। सबसे तेज़ अपेक्षित प्रदर्शन वाले एथलीट का चयन हो जाता है - यह एक उचित भेदभावपूर्ण परीक्षा है।
  • उचित स्कोरिंग नियम एक एथलीट को चुनने के लिए होगा जो सबसे तेज़ 200 मीटर दौड़ने में सक्षम हो, लेकिन समय एक सेकंड के सबसे नज़दीकी आधे भाग तक होता है। सर्वश्रेष्ठ एथलीट के साथ-साथ संभावित रूप से कुछ अन्य एथलीट भी इस परीक्षा को पास करने में सक्षम होंगे। इस तरह से चुने गए सभी एथलीट काफी प्रतिस्पर्धी हैं, लेकिन स्पष्ट रूप से यह गति का एक सही भेदभावपूर्ण परीक्षण नहीं है।
  • एक अर्ध-उचित स्कोरिंग नियम एक एथलीट को चुनना होगा जो एक प्रतिस्पर्धी समय सीमा से 200 मीटर नीचे चलने में सक्षम है, जैसे 22 सेकंड। पहले की तरह, सबसे अच्छा एथलीट और साथ ही कुछ अन्य एथलीट भी इस परीक्षा को पास करने में सक्षम होंगे। इसी तरह सभी एथलीट जिन्हें इस तरह से चुना जाता है, वे काफी प्रतिस्पर्धी हो सकते हैं, लेकिन स्पष्ट रूप से न केवल यह एक सही भेदभावपूर्ण परीक्षा है, बल्कि यह बुरी तरह से खराब भी हो सकती है (यदि हम बहुत उदार या बहुत कठोर समय चुनते हैं)। ध्यान दें कि गलत गलत नहीं है।
  • एक अनुचित स्कोरिंग नियम एथलीट को सबसे मजबूत पैरों के साथ चुनना होगा, जैसे कि कौन सबसे अधिक वजन उठा सकता है। निश्चित रूप से, किसी भी अच्छे धावक के पैर बहुत मजबूत होते हैं लेकिन इस परीक्षा का मतलब है कि भारोत्तोलन करने वाली टीम के कुछ लोग यहां से बाहर निकलेंगे। स्पष्ट रूप से एक 200 मीटर की दौड़ में भारोत्तोलक भयावह होगा!

जबकि कुछ हद तक ऊपर के उदाहरण से पता चलता है कि स्कोरिंग नियमों के उपयोग से क्या होता है। ऐलिस अपेक्षित स्प्रिंट समय का अनुमान लगा रहा था। वर्गीकरण के संदर्भ में हम संभाव्यता का अनुमान लगाते हैं और संभाव्य वर्गीकरणकर्ता की त्रुटि को कम करते हैं।

  • बैरियर स्कोर की तरह एक सख्ती से उचित स्कोरिंग नियम , गारंटी देता है कि सबसे अच्छा स्कोर केवल तभी प्राप्त होगा जब हम यथासंभव संभावित संभावनाओं के करीब होंगे।
  • एक उचित स्कोरिंग नियम , निरंतर रैंक किए गए प्रायिकता स्कोर (सीआरपीएस) की तरह, यह गारंटी नहीं देता है कि सर्वश्रेष्ठ स्कोर केवल एक क्लासिफायरियर द्वारा प्राप्त किया जाएगा, जिसकी भविष्यवाणियां सच्ची संभावनाओं के सबसे करीब हैं। अन्य उम्मीदवार क्लासीफायर, सीआरपीएस स्कोर प्राप्त कर सकते हैं जो कि इष्टतम क्लासिफायरियर से मेल खाते हैं।
  • एयूसी-आरओसी की तरह एक अर्ध-उचित स्कोरिंग नियम , न केवल यह गारंटी देता है कि सबसे अच्छा प्रदर्शन एक क्लासिफायरियर द्वारा प्राप्त किया जाएगा, जिसकी भविष्यवाणियां सच्ची संभावनाओं के सबसे करीब हैं, लेकिन यह (संभावित) भी बेहतर करना संभव है एयूसी-आरओसी के मूल्यों को उनके वास्तविक मूल्यों से दूर संभावित संभावनाओं को स्थानांतरित करके। फिर भी, कुछ शर्तों के तहत (उदा। वर्ग वितरण AUC-ROC के मामले में जानी जाने वाली एक प्राथमिकता है) ऐसे नियम एक उचित स्कोरिंग नियम का अनुमान लगा सकते हैं। बायरन (2016) " संभाव्य पूर्वानुमानों के मूल्यांकन के लिए अनुभवजन्य एयूसी के उपयोग पर एक नोट " एयूसी-आरओसी के बारे में कुछ दिलचस्प बिंदुओं को उठाता है।
  • एक अनुचित स्कोरिंग नियम , सटीकता की तरह, संभावित संभावनाओं के जितना संभव हो उतना संभव भविष्यवाणी करने के हमारे मूल कार्य से कोई संबंध नहीं है।

जैसा कि हम देखते हैं कि अर्ध-उचित स्कोरिंग नियम सही नहीं है, लेकिन यह एकमुश्त विनाशकारी भी नहीं है। यह वास्तव में भविष्यवाणी के दौरान काफी उपयोगी हो सकता है! Cagdas Ozgenc के पास एक महान उदाहरण है जहां एक अनुचित / अर्ध-उचित नियम के साथ काम करना एक कड़ाई से उचित नियम के लिए बेहतर है। सामान्य तौर पर, अर्ध-उचित स्कोरिंग नियम शब्द बहुत सामान्य नहीं है। यह अनुचित नियमों से जुड़ा हुआ है जो फिर भी मददगार हो सकता है (जैसे। AUC-ROC या MAE in probabilistic वर्गीकरण)।

अंत में, कुछ महत्वपूर्ण नोटिस करें। चूंकि स्प्रिंटिंग मजबूत पैरों के साथ जुड़ा हुआ है, इसलिए सटीकता के साथ सही संभाव्य वर्गीकरण है। यह संभावना नहीं है कि एक अच्छे स्प्रिंटर में कमजोर पैर होंगे और इसी तरह यह संभावना नहीं है कि एक अच्छे क्लासिफायरियर में खराब एक्यूरेसी होगी। फिर भी, अच्छे क्लासिफायर परफॉर्मेंस के साथ एक्यूरेसी की बराबरी करना, अच्छी स्प्रिंटिंग परफॉर्मेंस के साथ लेग स्ट्रेंथ की बराबरी करना है। निरर्थक परिणामों के लिए नेतृत्व करने के लिए पूरी तरह से निराधार लेकिन बहुत प्रशंसनीय नहीं है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.