उचित स्कोरिंग नियमों में से चुनना

Question

उचित स्कोरिंग नियमों के अधिकांश संसाधनों में लॉग-लॉस, बैरियर स्कोर या गोलाकार स्कोरिंग जैसे विभिन्न स्कोरिंग नियमों का उल्लेख है। हालांकि, वे अक्सर उनके बीच के मतभेदों पर ज्यादा मार्गदर्शन नहीं देते हैं। (प्रदर्शनी ए: विकिपीडिया ।)

लॉगरिदमिक स्कोर को अधिकतम करने वाले मॉडल को चुनना अधिकतम संभावना मॉडल को चुनने से मेल खाता है, जो लॉगरिदमिक स्कोरिंग का उपयोग करने के लिए एक अच्छे तर्क की तरह लगता है। क्या बैरियर या गोलाकार स्कोरिंग, या अन्य स्कोरिंग नियमों के समान औचित्य हैं? लॉगरिदमिक स्कोरिंग के बजाय कोई इनमें से एक का उपयोग क्यों करेगा?

Comments

कुछ संकेत नामकरण में हैं। "लागत कार्यात्मक" अनुकूलन या इष्टतम नियंत्रण प्रणाली इंजीनियरिंग से है। कोई "सर्वश्रेष्ठ" नहीं है। "अच्छा" होने का मतलब है कि आपके पास अच्छाई का माप होना चाहिए। भलाई के उपायों के परिवारों की अनंत संख्या है। एक तुच्छ उदाहरण है: सबसे अच्छा रास्ता क्या है? यदि आप अपने निष्पादन के लिए अग्रसर हैं - इसे एक लंबा सुखद बनाएं। यदि आप अपनी फील्ड्स मेटल में जा रहे हैं, तो इसे छोटा करें। सिस्टम विशेषज्ञता आपको अच्छाई के उपाय का चयन करने में मदद करती है। जब आपके पास अच्छाई का माप है, तो आप "सर्वश्रेष्ठ" पा सकते हैं।

— EngrStudent -

आपको मर्कले एंड स्टेवर्स में दिलचस्पी हो सकती है , "कड़ाई से उचित स्कोरिंग नियम चुनना" (2013, निर्णय विश्लेषण ) ।

— एस। कोलासा - मोनिका

मैंने इसे और अधिक सटीक / जानकारीपूर्ण बनाने के लिए शीर्षक के संपादन की स्वतंत्रता ली। अगर मैंने इसका गलत अर्थ निकाला, तो क्षमा करें और परिवर्तन को वापस करने के लिए स्वतंत्र महसूस करें।

— रिचर्ड हार्डी

Answer 1

लॉगरिदमिक स्कोरिंग के बजाय कोई इनमें से एक का उपयोग क्यों करेगा?

इसलिए आदर्श रूप में, हम हमेशा एक मॉडल को निर्णय लेने से अलग करते हैं । बायेसियन पद्धति में, मॉडल स्कोरिंग और चयन हमेशा सीमांत संभावना का उपयोग करके किया जाना चाहिए । आप तब संभावित भविष्यवाणियों को बनाने के लिए मॉडल का उपयोग करते हैं, और आपका नुकसान फ़ंक्शन आपको उन भविष्यवाणियों पर कार्य करने का तरीका बताता है।

दुर्भाग्य से वास्तविक दुनिया में, कम्प्यूटेशनल प्रदर्शन अक्सर यह दर्शाता है कि हम मॉडल-चयन और निर्णय लेने का सामना करते हैं और इसलिए अपने मॉडल को फिट करने के लिए एक हानि फ़ंक्शन का उपयोग करते हैं। यह वह जगह है जहां मॉडल चयन में विषयवस्तु ढह जाती है, क्योंकि आपको यह अनुमान लगाना है कि विभिन्न प्रकार की गलती से आपको कितना खर्च होगा। क्लासिक उदाहरण कैंसर के लिए एक निदान है: किसी की कैंसर की संभावना को कम करना अच्छा नहीं है, लेकिन इसे कम करके आंका जाना बहुत बुरा है।

एक तरफ के रूप में, अगर आप मार्गदर्शन के लिए देख रहे हैं कि स्कोरिंग नियम कैसे चुनें, तो आप एक हानि फ़ंक्शन को चुनने या उपयोगिता फ़ंक्शन को डिज़ाइन करने के लिए मार्गदर्शन की तलाश कर सकते हैं, जैसा कि मुझे लगता है कि उन दो विषयों पर साहित्य बहुत कुछ है। अधिक बड़ा।

Comments

1) क्या आप कह रहे हैं कि बायर स्कोरिंग अनिवार्य रूप से "भेस में नुकसान का कार्य" है - अर्थात, भले ही यह एक उपयोगिता-कार्य-अज्ञेय स्कोरिंग / तुलना नियम के रूप में है, यह वास्तव में उपयोग किया जाता है क्योंकि लोगों के प्रकारों पर विशिष्ट प्राथमिकताएं हैं मॉडल बनाता है त्रुटियों?

— बेन कुह्न

2) क्या आपके पास सेटिंग्स का कोई विशिष्ट उदाहरण है, जिसमें कोई व्यक्ति लॉग स्कोरिंग पर बैरियर या गोलाकार स्कोरिंग चुन सकता है (= सीमांत संभावना, जैसा कि मैं इसे समझता हूं) उन कारणों से?

— बेन कुह्न

3) अपने नुकसान / उपयोगिता फ़ंक्शन मान्यताओं को मॉडल में सेंकने के लिए बेहतर प्रदर्शन करने की तुलना में सीमांत संभावना के लिए फिट होना और वास्तव में निर्णय लेने पर अपने नुकसान / उपयोगिता फ़ंक्शन का उपयोग करना बेहतर क्यों होगा? ऐसा लगता है कि आदर्श शिक्षण एल्गोरिदम के लिए इन दोनों के बीच कोई अंतर नहीं होना चाहिए।

— बेन कुह्न

1) हाँ। 2) व्यक्तिगत रूप से नहीं, नहीं। मेरे द्वारा काम करने वाले एमएल में स्कोरिंग नियमों को "फैशनेबल" नहीं किया जाता है। स्कॉलर पर एक त्वरित प्रहार के बाद , ऐसा लगता है कि वे सामान्य रूप से थोड़ा दिनांकित हैं। यह कागज ऐसा लगता है जैसे यह आपके लिए दिलचस्प होगा। 3) प्रदर्शन से मेरा मतलब "कम्प्यूटेशनल प्रदर्शन" था, न कि "भविष्य कहनेवाला प्रदर्शन"।

— एंडी जोन्स