एफ 1 इष्टतम थ्रेसहोल्ड क्या है? इसकी गणना कैसे करें?

Question

मैंने R2 में h2o.glm () फ़ंक्शन का उपयोग किया है जो परिणाम में अन्य आंकड़ों के साथ एक आकस्मिक तालिका देता है। आकस्मिक तालिका का नेतृत्व किया जाता है " एफ 1 ऑप्टिमल थ्रेशोल्ड पर आधारित क्रॉस टैब "

विकिपीडिया एफ 1 स्कोर या एफ स्कोर को सटीक और याद के हार्मोनिक मतलब के रूप में परिभाषित करता है। लेकिन प्रीसिशन और रिकॉल केवल तब नहीं पाए जाते हैं जब एक लॉजिस्टिक रिग्रेशन (उदाहरण के लिए) के अनुमानित मानों का परिणाम एक कटऑफ का उपयोग करके बाइनरी में बदल जाता है।

अब कटऑफ से मुझे याद है, एफ 1 स्कोर और ऑप्टिमल थ्रेशोल्ड के बीच क्या संबंध है। इष्टतम सीमा की गणना कैसे की जाती है? एफ 1 इष्टतम थ्रेशोल्ड की गणना कैसे की जाती है?

क्षमा करें यदि मैंने कुछ याद किया है, तो मैं यहाँ आँकड़ों के लिए नया हूँ।

Answer 1

मैंने वास्तव में इस विषय पर मशीन लर्निंग में अपना पहला पेपर लिखा था। इसमें, हमने पाया कि जब आपके क्लासिफायर ने कैलिब्रेट की गई संभावनाओं को कैलिब्रेट किया (जैसा कि उन्हें लॉजिस्टिक रिग्रेशन के लिए करना चाहिए) तो इष्टतम सीमा लगभग 1/2 एफ 1 स्कोर है जो इसे प्राप्त करता है। यह आपको कुछ अंतर्ज्ञान देता है। इष्टतम थ्रेशोल्ड कभी भी अधिक से अधिक नहीं होगा। 5। यदि आपका F1 .5 है और थ्रेशोल्ड है। 5, तो आपको दहलीज को कम करके F1 में सुधार की उम्मीद करनी चाहिए। दूसरी ओर, अगर F1 .5 थे और थ्रेशोल्ड थे ।1, तो आपको F1 को बेहतर बनाने के लिए संभवतः थ्रेशोल्ड बढ़ाना चाहिए।

सभी विवरणों के साथ कागज़ और एफ 1 क्यों हो सकता है या नहीं इसका अनुकूलन करने के लिए एक अच्छा उपाय हो सकता है (एकल और बहुभाषी मामले में) यहां पाया जा सकता है:

https://arxiv.org/abs/1402.1892

क्षमा करें कि इस पोस्ट को मेरे ध्यान में आने में 9 महीने लग गए। आशा है कि आप अभी भी जानकारी को उपयोगी पाते हैं!

Comments

F1 हो सकता है> 1? यदि आपके पास 90% ए, और 10% ~ ए है, तो मुझे लगता है कि आप एक दहलीज> 5 चाहते हैं।

— गंग -

हाय @ गुंग। नहीं, परिभाषा के अनुसार, एफ 1 = 2 * पी * आर / (पी + आर) और, सभी एफ-बीटा उपायों की तरह, सीमा [0,1] है। वर्ग असंतुलन एफ 1 स्कोर की सीमा को नहीं बदलता है। कुछ अनुप्रयोगों के लिए, आप वास्तव में .5 से अधिक की सीमा के साथ की गई भविष्यवाणियां कर सकते हैं। विशेष रूप से, यह तब होगा जब आपको लगता है कि झूठी सकारात्मक गलत नकारात्मक से बदतर हैं। लेकिन ऐसी सीमा एफ 1 स्कोर का अनुकूलन नहीं करेगी। यह समझने के लिए कि, सूचना पुनर्प्राप्ति के संदर्भ में एफ 1 स्कोर क्यों विकसित किया गया था। इन सेटिंग्स में, पॉजिटिव क्लास दुर्लभ है और आम तौर पर गलत सकारात्मक के रूप में झूठी नकारात्मक के रूप में महंगी नहीं हैं।

— ज़ाचारी चेस लिप्टन

@ZacharyChaseLipton मान लें कि मेरे पास ट्रेन / वैल / टेस्ट में एक डेटासेट विभाजित है। एक वर्गीकरण के लिए जो एक संभावना को आउटपुट करता है कि मैं सर्वश्रेष्ठ F1 की पैदावार की सीमा का परीक्षण करके सत्यापन सेट पर इष्टतम F1 थ्रेशोल्ड का चयन करूंगा। यह उचित लगता है क्योंकि थ्रेशोल्ड का चयन करना सर्वोत्तम मॉडल के चयन के समान लगता है। क्या यह सही बात है?

— पीर

इसके अलावा, मान लें कि मेरे पास एक क्लासिफायरियर है जो संभावनाओं (एसवीएम की तरह) का उत्पादन नहीं करता है। फिर आप सत्यापन सेट पर F1 को कैसे अनुकूलित करेंगे?

— पीर

मैंने इसे एक प्रश्न के रूप में बनाया है: आंकड़े.stackexchange.com/questions/283931/…

— पिर