एक उदाहरण से शुरू करते हैं। बता दें कि एलिस एक ट्रैक कोच हैं और आगामी खेल स्पर्धा, 200 मीटर स्प्रिंट में टीम का प्रतिनिधित्व करने के लिए एक एथलीट चुनना चाहती हैं। स्वाभाविक रूप से वह सबसे तेज धावक चुनना चाहती है।
- एक कड़ाई से उचित स्कोरिंग नियम 200 मीटर की दूरी पर टीम के सबसे तेज धावक को नामांकित करना होगा। यह ठीक उसी स्थिति में बताता है कि ऐलिस इस स्थिति में कोच से क्या चाहती है। सबसे तेज़ अपेक्षित प्रदर्शन वाले एथलीट का चयन हो जाता है - यह एक उचित भेदभावपूर्ण परीक्षा है।
- ए उचित स्कोरिंग नियम एक एथलीट को चुनने के लिए होगा जो सबसे तेज़ 200 मीटर दौड़ने में सक्षम हो, लेकिन समय एक सेकंड के सबसे नज़दीकी आधे भाग तक होता है। सर्वश्रेष्ठ एथलीट के साथ-साथ संभावित रूप से कुछ अन्य एथलीट भी इस परीक्षा को पास करने में सक्षम होंगे। इस तरह से चुने गए सभी एथलीट काफी प्रतिस्पर्धी हैं, लेकिन स्पष्ट रूप से यह गति का एक सही भेदभावपूर्ण परीक्षण नहीं है।
- एक अर्ध-उचित स्कोरिंग नियम एक एथलीट को चुनना होगा जो एक प्रतिस्पर्धी समय सीमा से 200 मीटर नीचे चलने में सक्षम है, जैसे 22 सेकंड। पहले की तरह, सबसे अच्छा एथलीट और साथ ही कुछ अन्य एथलीट भी इस परीक्षा को पास करने में सक्षम होंगे। इसी तरह सभी एथलीट जिन्हें इस तरह से चुना जाता है, वे काफी प्रतिस्पर्धी हो सकते हैं, लेकिन स्पष्ट रूप से न केवल यह एक सही भेदभावपूर्ण परीक्षा है, बल्कि यह बुरी तरह से खराब भी हो सकती है (यदि हम बहुत उदार या बहुत कठोर समय चुनते हैं)। ध्यान दें कि गलत गलत नहीं है।
- एक अनुचित स्कोरिंग नियम एथलीट को सबसे मजबूत पैरों के साथ चुनना होगा, जैसे कि कौन सबसे अधिक वजन उठा सकता है। निश्चित रूप से, किसी भी अच्छे धावक के पैर बहुत मजबूत होते हैं लेकिन इस परीक्षा का मतलब है कि भारोत्तोलन करने वाली टीम के कुछ लोग यहां से बाहर निकलेंगे। स्पष्ट रूप से एक 200 मीटर की दौड़ में भारोत्तोलक भयावह होगा!
जबकि कुछ हद तक ऊपर के उदाहरण से पता चलता है कि स्कोरिंग नियमों के उपयोग से क्या होता है। ऐलिस अपेक्षित स्प्रिंट समय का अनुमान लगा रहा था। वर्गीकरण के संदर्भ में हम संभाव्यता का अनुमान लगाते हैं और संभाव्य वर्गीकरणकर्ता की त्रुटि को कम करते हैं।
- बैरियर स्कोर की तरह एक सख्ती से उचित स्कोरिंग नियम , गारंटी देता है कि सबसे अच्छा स्कोर केवल तभी प्राप्त होगा जब हम यथासंभव संभावित संभावनाओं के करीब होंगे।
- एक उचित स्कोरिंग नियम , निरंतर रैंक किए गए प्रायिकता स्कोर (सीआरपीएस) की तरह, यह गारंटी नहीं देता है कि सर्वश्रेष्ठ स्कोर केवल एक क्लासिफायरियर द्वारा प्राप्त किया जाएगा, जिसकी भविष्यवाणियां सच्ची संभावनाओं के सबसे करीब हैं। अन्य उम्मीदवार क्लासीफायर, सीआरपीएस स्कोर प्राप्त कर सकते हैं जो कि इष्टतम क्लासिफायरियर से मेल खाते हैं।
- एयूसी-आरओसी की तरह एक अर्ध-उचित स्कोरिंग नियम , न केवल यह गारंटी देता है कि सबसे अच्छा प्रदर्शन एक क्लासिफायरियर द्वारा प्राप्त किया जाएगा, जिसकी भविष्यवाणियां सच्ची संभावनाओं के सबसे करीब हैं, लेकिन यह (संभावित) भी बेहतर करना संभव है एयूसी-आरओसी के मूल्यों को उनके वास्तविक मूल्यों से दूर संभावित संभावनाओं को स्थानांतरित करके। फिर भी, कुछ शर्तों के तहत (उदा। वर्ग वितरण AUC-ROC के मामले में जानी जाने वाली एक प्राथमिकता है) ऐसे नियम एक उचित स्कोरिंग नियम का अनुमान लगा सकते हैं। बायरन (2016) " संभाव्य पूर्वानुमानों के मूल्यांकन के लिए अनुभवजन्य एयूसी के उपयोग पर एक नोट " एयूसी-आरओसी के बारे में कुछ दिलचस्प बिंदुओं को उठाता है।
- एक अनुचित स्कोरिंग नियम , सटीकता की तरह, संभावित संभावनाओं के जितना संभव हो उतना संभव भविष्यवाणी करने के हमारे मूल कार्य से कोई संबंध नहीं है।
जैसा कि हम देखते हैं कि अर्ध-उचित स्कोरिंग नियम सही नहीं है, लेकिन यह एकमुश्त विनाशकारी भी नहीं है। यह वास्तव में भविष्यवाणी के दौरान काफी उपयोगी हो सकता है! Cagdas Ozgenc के पास एक महान उदाहरण है जहां एक अनुचित / अर्ध-उचित नियम के साथ काम करना एक कड़ाई से उचित नियम के लिए बेहतर है। सामान्य तौर पर, अर्ध-उचित स्कोरिंग नियम शब्द बहुत सामान्य नहीं है। यह अनुचित नियमों से जुड़ा हुआ है जो फिर भी मददगार हो सकता है (जैसे। AUC-ROC या MAE in probabilistic वर्गीकरण)।
अंत में, कुछ महत्वपूर्ण नोटिस करें। चूंकि स्प्रिंटिंग मजबूत पैरों के साथ जुड़ा हुआ है, इसलिए सटीकता के साथ सही संभाव्य वर्गीकरण है। यह संभावना नहीं है कि एक अच्छे स्प्रिंटर में कमजोर पैर होंगे और इसी तरह यह संभावना नहीं है कि एक अच्छे क्लासिफायरियर में खराब एक्यूरेसी होगी। फिर भी, अच्छे क्लासिफायर परफॉर्मेंस के साथ एक्यूरेसी की बराबरी करना, अच्छी स्प्रिंटिंग परफॉर्मेंस के साथ लेग स्ट्रेंथ की बराबरी करना है। निरर्थक परिणामों के लिए नेतृत्व करने के लिए पूरी तरह से निराधार लेकिन बहुत प्रशंसनीय नहीं है।