मॉडल की सटीकता निर्धारित करें जो घटना की संभावना का अनुमान लगाता है

Question

मैं एक घटना को दो परिणामों के साथ मॉडलिंग कर रहा हूं, ए और बी। मैंने एक मॉडल बनाया है जो इस संभावना का अनुमान लगाता है कि या तो एक या बी होगा (यानी मॉडल गणना करेगा कि 40% संभावना के साथ होगा और बी 60% मौका के साथ होगा)।

मेरे पास मॉडल से अनुमानों के साथ परीक्षणों के परिणामों का एक बड़ा रिकॉर्ड है। मैं यह बताना चाहता हूं कि इस डेटा का उपयोग करने वाला मॉडल कितना सही है - क्या यह संभव है, और यदि ऐसा है तो कैसे?

Comments

मैं गलत हो सकता हूं, लेकिन मुझे लगता है कि आप अपने मॉडल के प्रशिक्षण-और / या परीक्षण-त्रुटि में रुचि रखते हैं। उदाहरण के लिए देखें: cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@Stijn वह संभावना का अनुमान लगा रहा है, हालांकि सीधे या बी के रूप में वर्गीकृत करने के बजाय, इसलिए मुझे नहीं लगता कि वे मैट्रिक्स वे हैं जो आप के लिए पूछते हैं।

— माइकल मैकगोवन

क्या आप इस बात में अधिक रुचि रखते हैं कि मॉडल आखिरकार वर्गीकरण के लिए कितना अच्छा प्रदर्शन करेगा (जिस स्थिति में आरओसी और एयूसी प्रकार का विश्लेषण सबसे अधिक प्रासंगिक लगता है ( en.wikipedia.org/wiki/Receiver_operating_characteristic ?) या आप यह समझने में अधिक रुचि रखते हैं कि "कैलिब्रेट" कैसे किया जाता है? संभाव्यता की भविष्यवाणियां हैं (यानी पी (आउटकम = ए) = 60% वास्तव में 60% का मतलब है, या केवल परिणाम = ए अन्य परिणामों की तुलना में अधिक होने की संभावना है ...

— DavidR

ऐसा लगता है कि आप संभावना स्कोरिंग के बारे में जानना चाहते हैं ।

— whuber

एल्विस, निर्णय विश्लेषण के वर्तमान अंक में एक लेख ने संभावना स्कोरिंग पर मेरा ध्यान आकर्षित किया। यह विषय पर पर्याप्त साहित्य का निर्माण करता प्रतीत होता है। (मेरे पास अमूर्त की तुलना में किसी भी अधिक तक पहुंच नहीं है, इसलिए, मैं स्वयं लेख पर टिप्पणी नहीं कर सकता।) पत्रिका के संपादकों द्वारा एक कवर पेपर (जो स्वतंत्र रूप से उपलब्ध है ) में एक ही विषय पर कई पिछले पत्रों का उल्लेख है।

— whuber

Answer 1

मान लीजिए कि आपका मॉडल वास्तव में अनुमान लगाता है कि A के पास 40% मौका है और B के पास 60% मौका है। कुछ परिस्थितियों में आप इसे एक वर्गीकरण में बदलना चाहते हैं कि बी होगा (चूंकि यह ए की तुलना में अधिक संभावना है)। एक बार वर्गीकरण में परिवर्तित हो जाने के बाद, प्रत्येक भविष्यवाणी सही या गलत होती है, और उन सही और गलत उत्तरों को मिलान करने के कई दिलचस्प तरीके होते हैं। एक सीधी सटीकता है (सही उत्तरों का प्रतिशत)। अन्य में सटीक और रिकॉल या एफ-माप शामिल हैं । जैसा कि दूसरों ने उल्लेख किया है, आप आरओसी वक्र को देखना चाह सकते हैं । इसके अलावा, आपका संदर्भ एक विशिष्ट लागत मैट्रिक्स की आपूर्ति कर सकता है जो सच्चे नकारात्मक से अलग सकारात्मक सकारात्मक पुरस्कार देता है और / या झूठी नकारात्मक से अलग सकारात्मक सकारात्मक को दंडित करता है।

हालाँकि, मुझे नहीं लगता है कि आप वास्तव में क्या देख रहे हैं। अगर आपने कहा कि बी के पास होने का 60% मौका है और मैंने कहा कि ऐसा होने का 99% मौका है, हमारे पास बहुत अलग भविष्यवाणियां हैं, भले ही वे दोनों एक साधारण वर्गीकरण प्रणाली में बी से मैप किए जाएंगे। यदि A होता है, तो आप गलत हैं, जबकि मैं बहुत गलत हूं, इसलिए मैं आशा करता हूं कि मुझे आपसे अधिक कठोर दंड मिलेगा। जब आपका मॉडल वास्तव में संभावनाएं पैदा करता है, तो एक स्कोरिंग नियम आपके संभाव्यता भविष्यवाणियों के प्रदर्शन का एक उपाय है। विशेष रूप से आप शायद एक उचित स्कोरिंग नियम चाहते हैं , जिसका अर्थ है कि स्कोर अच्छी तरह से कैलिब्रेटेड परिणामों के लिए अनुकूलित है।

स्कोरिंग नियम का एक सामान्य उदाहरण है बैरियर स्कोर : जहां पूर्वानुमानित संभावना है ईवेंट हो रहा है और 1 है यदि ईवेंट हुआ और 0 नहीं हुआ तो।एफटीओ

$$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$$ $f_t$$o_t$

बेशक, आपके द्वारा चुने गए स्कोरिंग नियम का प्रकार इस बात पर निर्भर हो सकता है कि आप किस प्रकार की घटना की भविष्यवाणी करने की कोशिश कर रहे हैं। हालांकि, इससे आपको आगे अनुसंधान करने के लिए कुछ विचार देने चाहिए।

मैं एक चेतावनी जोड़ूंगा कि आप चाहे जो भी करें, जब आपके मॉडल का इस तरह से मूल्यांकन किया जाए तो मेरा सुझाव है कि आप अपने मीट्रिक को आउट-ऑफ-सैंपल डेटा पर देखें (यानी, डेटा का उपयोग आपके मॉडल को बनाने के लिए नहीं किया गया है)। यह क्रॉस-वैलिडेशन के माध्यम से किया जा सकता है । शायद और अधिक बस आप अपने मॉडल को एक डेटासेट पर बना सकते हैं और फिर दूसरे पर इसका आकलन कर सकते हैं (सावधानी से आउट-ऑफ-सैंपल स्पिल से इन-सैंपल मॉडलिंग में प्रवेश न करने दें)।