एफ-माप मूल्यों की व्याख्या कैसे करें?

41

मैं जानना चाहता हूं कि एफ-माप मूल्यों के अंतर की व्याख्या कैसे करें। मुझे पता है कि एफ-माप सटीक और याद के बीच एक संतुलित साधन है, लेकिन मैं एफ-उपायों में अंतर के व्यावहारिक अर्थ के बारे में पूछ रहा हूं।

उदाहरण के लिए, यदि एक क्लासिफायरियर C1 में 0.4 की सटीकता और दूसरे क्लासिफायरियर C2 की सटीकता 0.8 है, तो हम कह सकते हैं कि C2 ने C1 की तुलना में परीक्षण उदाहरणों के दोहरे को सही ढंग से वर्गीकृत किया है। हालांकि, अगर एक क्लासिफायरियर C1 में एक निश्चित वर्ग के लिए 0.4 का एफ-माप है और एक अन्य क्लासिफायरियर सी 2 में 0.8 का एफ-माप है, तो हम 2 क्लासिफायरफायर के प्रदर्शन में अंतर के बारे में क्या बता सकते हैं? क्या हम कह सकते हैं कि C2 ने X को और उदाहरणों को सही ढंग से वर्गीकृत किया है कि C1?

classification precision-recall

— AM2
स्रोत

2

मुझे यकीन नहीं है कि आप बहुत कुछ कह सकते हैं क्योंकि एफ-माप सटीक और याद दोनों का कार्य है: en.wikipedia.org/wiki/F1_score । यद्यपि आप गणित कर सकते हैं और एक (या तो सटीक या याद) को स्थिर रख सकते हैं और दूसरे के बारे में कुछ कह सकते हैं।

— निक

41

मैं एफ माप का सहज अर्थ नहीं सोच सकता, क्योंकि यह सिर्फ एक संयुक्त मीट्रिक है। F-mesure की तुलना में जो अधिक सहज है, निश्चित रूप से सटीक और याद रखने योग्य है।

लेकिन दो मूल्यों का उपयोग करते हुए, हम अक्सर यह निर्धारित नहीं कर सकते हैं कि एक एल्गोरिथ्म दूसरे से बेहतर है या नहीं। उदाहरण के लिए, यदि एक एल्गोरिथ्म में अन्य की तुलना में उच्च परिशुद्धता लेकिन कम याद है, तो आप कैसे बता सकते हैं कि कौन सा एल्गोरिदम बेहतर है?

यदि आपके मन में एक विशिष्ट लक्ष्य है जैसे 'सटीक राजा है। मुझे याद करने की ज्यादा परवाह नहीं है, फिर कोई समस्या नहीं है। उच्च परिशुद्धता बेहतर है। लेकिन अगर आपके पास इतना मजबूत लक्ष्य नहीं है, तो आप एक संयुक्त मीट्रिक चाहते हैं। वह एफ-माप है। इसका उपयोग करके, आप कुछ सटीक और कुछ रिकॉल की तुलना करेंगे।

आरओसी वक्र को अक्सर एफ-माप बताते हुए तैयार किया जाता है। आपको यह लेख रोचक लग सकता है क्योंकि इसमें ROC घटता सहित कई उपायों पर स्पष्टीकरण दिया गया है: http://binf.gmu.edu/mmasso/ROC101.pdf

— मिंकू सेओ
स्रोत

23

परिदृश्य के आधार पर एफ 1 स्कोर का महत्व अलग है। मान लें कि लक्ष्य चर एक बाइनरी लेबल है।

संतुलित वर्ग: इस स्थिति में, एफ 1 स्कोर को प्रभावी रूप से अनदेखा किया जा सकता है, गलत वर्गीकरण दर महत्वपूर्ण है।
असंतुलित वर्ग, लेकिन दोनों वर्ग महत्वपूर्ण हैं: यदि वर्ग वितरण अत्यधिक तिरछा है (जैसे कि 80:20 या 90:10), तो एक वर्गीकरणकर्ता को बहुसंख्यक वर्ग चुनकर कम गलत वर्गीकरण दर प्राप्त कर सकते हैं। ऐसी स्थिति में, मैं उस क्लासिफायर का चयन करूँगा, जिसे दोनों वर्गों में उच्च एफ 1 स्कोर प्राप्त होता है, साथ ही कम गलत-वर्गीकरण दर भी। कम एफ 1-स्कोर पाने वाले क्लासिफायर को अनदेखा किया जाना चाहिए।
असंतुलित वर्ग, लेकिन एक वर्ग यदि अधिक महत्वपूर्ण है कि अन्य। उदाहरण के लिए, धोखाधड़ी का पता लगाने के लिए, धोखाधड़ी को गैर-धोखाधड़ी के रूप में एक उदाहरण के रूप में सही ढंग से लेबल करना अधिक महत्वपूर्ण है, गैर-धोखाधड़ी वाले को लेबल करने के लिए। इस मामले में, मैं उस क्लासिफायर को चुनूंगा जिसका एक अच्छा एफ 1 स्कोर केवल महत्वपूर्ण वर्ग पर है । याद रखें कि एफ 1-स्कोर प्रति क्लास उपलब्ध है।

— shark8me
स्रोत

9

एफ-माप का एक सहज अर्थ है। यह बताता है कि आपका क्लासिफायर कितना सटीक है (यह कितने उदाहरणों को सही ढंग से वर्गीकृत करता है), साथ ही साथ यह कितना मजबूत है (यह महत्वपूर्ण संख्या में याद नहीं है)।

उच्च सटीकता लेकिन कम याद के साथ, आप क्लासिफायरियर बेहद सटीक है, लेकिन यह महत्वपूर्ण उदाहरणों को याद करता है जिन्हें वर्गीकृत करना मुश्किल है। यह बहुत उपयोगी नहीं है।

इस हिस्टोग्राम पर एक नज़र डालें। इसके मूल उद्देश्य को अनदेखा करें।

दाईं ओर, आप उच्च परिशुद्धता प्राप्त करते हैं, लेकिन कम याद करते हैं। यदि मैं केवल 0.9 से ऊपर के स्कोर के साथ उदाहरणों का चयन करता हूं, तो मेरे वर्गीकृत उदाहरण बेहद सटीक होंगे, हालांकि मैंने कई महत्वपूर्ण उदाहरणों को याद किया होगा। प्रयोगों से संकेत मिलता है कि यहां का मीठा स्थान 0.76 के आसपास है, जहां एफ-माप 0.87 है।

— lostsoul29
स्रोत

5

एफ-माप आपकी सटीकता और रिकॉल का हार्मोनिक मतलब है। ज्यादातर स्थितियों में, आपके पास सटीक और रिकॉल के बीच एक ट्रेड-ऑफ है। यदि आप एक को बढ़ाने के लिए अपने क्लासीफायर का अनुकूलन करते हैं और दूसरे को भ्रमित करते हैं, तो हार्मोनिक का मतलब जल्दी से कम हो जाता है। यह सबसे बड़ी बात है, जब सटीक और याद दोनों समान हैं।

अपने सहपाठियों के लिए 0.4 और 0.8 के एफ-उपायों को देखते हुए, आप उम्मीद कर सकते हैं कि ये वे स्थान हैं जहां अधिकतम मूल्यों को प्राप्त किया जाता है जब याद के खिलाफ सटीक वजन होता है।

दृश्य संदर्भ के लिए विकिपीडिया के इस आंकड़े पर एक नज़र डालें :

एफ-माप एच , ए और बी याद और सटीक हैं। आप एक बढ़ा सकते हैं, लेकिन फिर दूसरा घटता है।

— विली राश्ककोवस्की
स्रोत

मैंने पाया कि "क्रॉस किए गए लैडर" विज़ुअलाइज़ेशन थोड़ा अधिक सीधा है - मेरे लिए, यह A = B की समानता बनाता है जिसके परिणामस्वरूप सबसे बड़ा एच अधिक सहज

— Coruscate5

3

एफ-माप के लिए सूत्र (एफ 1, बीटा = 1 के साथ) सूत्र के समान है जो भौतिकी में समानांतर में रखे गए दो प्रतिरोधों के बराबर प्रतिरोध देता है (कारक 2 के बारे में भूल)।

यह आपको एक संभावित व्याख्या दे सकता है, और आप इलेक्ट्रॉनिक या थर्मल प्रतिरोध दोनों के बारे में सोच सकते हैं। यह सादृश्य एफ-माप को समानांतर में रखी गई संवेदनशीलता और परिशुद्धता द्वारा गठित समकक्ष प्रतिरोध के रूप में परिभाषित करेगा।

एफ-माप के लिए, अधिकतम संभव 1 है, और आप जैसे ही दो प्रतिरोधों को खो देते हैं, वैसे ही प्रतिरोध भी ढीला हो जाता है (यह भी कहते हैं, 1 से नीचे का मान प्राप्त करें)। यदि आप इस मात्रा और इसके गतिशील को बेहतर ढंग से समझना चाहते हैं, तो भौतिक घटना के बारे में सोचें। उदाहरण के लिए, ऐसा प्रतीत होता है कि एफ-माप <= अधिकतम (संवेदनशीलता, सटीक)।

— Bardamu
स्रोत

3

$F_{\beta}$ $-1/\beta^2$

P = \frac{T P}{T P + F P}

$P = \frac{TP}{TP+FP}$

R = \frac{T P}{T P + F N}

$R = \frac{TP}{TP+FN}$

α

$\alpha$

α \frac{1 - R}{R} + \frac{1 - P}{P} .

$\alpha \frac{1-R}{R} + \frac{1-P}{P}.$

- α

$-\alpha$

F_{β}

$F_{\beta}$

β^{2}

$\beta^2$

— विलियम जी
स्रोत

1

F_{β} = 1 / ((β^{2} / (β^{2} + 1)) 1 / r + (1 / (β^{2} + 1)) 1 / p)

$F_\beta=1/((\beta^2/(\beta^2+1))1/r+(1/(\beta^2+1))1/p)$

β^{2} < 1

$β^2<1$

p

$p$

F_{β}

$F_\beta$ )।

— LittleYUYU
स्रोत

0

एफ 1-स्कोर का निकटतम सहज अर्थ याद और सटीक का मतलब माना जा रहा है। आइए इसे आपके लिए स्पष्ट करें:

एक वर्गीकरण कार्य में, आप उच्च परिशुद्धता और याद के साथ एक क्लासिफायरियर बनाने की योजना बना सकते हैं। उदाहरण के लिए, एक वर्गीकरण जो बताता है कि कोई व्यक्ति ईमानदार है या नहीं।

सटीकता के लिए, आप आमतौर पर सटीक रूप से यह बताने में सक्षम होते हैं कि किसी दिए गए समूह में कितने ईमानदार लोग हैं। इस मामले में, जब उच्च परिशुद्धता की देखभाल की जाती है, तो आप मान लेते हैं कि आप एक झूठे व्यक्ति को ईमानदार नहीं बल्कि अक्सर गलत समझ सकते हैं। दूसरे शब्दों में, यहाँ आप एक पूरे समूह के रूप में ईमानदार से झूठ की पहचान करने की कोशिश कर रहे हैं।

हालांकि, याद करने के लिए, आप वास्तव में चिंतित होंगे यदि आप एक झूठे व्यक्ति को ईमानदार मानते हैं। आपके लिए, यह एक बड़ी क्षति और एक बड़ी गलती होगी और आप इसे फिर से नहीं करना चाहते हैं। इसके अलावा, यह ठीक है अगर आपने किसी को झूठे के रूप में ईमानदार वर्गीकृत किया है लेकिन आपके मॉडल को कभी भी (या अधिकतर नहीं) एक झूठे व्यक्ति को ईमानदार होने का दावा करना चाहिए। दूसरे शब्दों में, यहां आप एक विशिष्ट वर्ग पर ध्यान केंद्रित कर रहे हैं और आप इसके बारे में गलती नहीं करने का प्रयास कर रहे हैं।

अब, उस मामले को लें जहां आप अपना मॉडल चाहते हैं (1) एक झूठा (सटीक) से ईमानदार की पहचान करें (2) दोनों वर्गों (याद) से प्रत्येक व्यक्ति की पहचान करें। जिसका अर्थ है कि आप उस मॉडल का चयन करेंगे जो दोनों मीट्रिक पर अच्छा प्रदर्शन करेगा।

आप मॉडल चयन निर्णय तो दो मैट्रिक्स के मतलब के आधार पर प्रत्येक मॉडल का मूल्यांकन करने की कोशिश करेंगे। एफ-स्कोर सबसे अच्छा है जो इसका वर्णन कर सकता है। आइए नजर डालते हैं सूत्र पर:

स्मरण करें: p = tp / (tp + fp)

स्मरण करें: r = tp / / (tp + fn)

एफ-स्कोर: fscore = 2 / (1 / r + 1 / p)

जैसा कि आप देखते हैं, उच्च रिकॉल और सटीक, उच्च एफ-स्कोर।

— Cs20
स्रोत

0

यह जानकर कि एफ 1 स्कोर सटीक और स्मरण का हार्मोनिक मतलब है, नीचे उनके बारे में थोड़ा संक्षिप्त है।

मैं कहूंगा कि रिकॉल झूठे नकारात्मक के बारे में अधिक है। मैं, एक उच्च रिकॉल होने का मतलब है कि कम FEGSE NEGATIVES हैं ।

Recall = \frac{t p}{t p + f n}

$\text{Recall}=\frac{tp}{tp+fn}$

जितना कम एफएन या शून्य एफएन का मतलब है, आपका मॉडल भविष्यवाणी वास्तव में अच्छा है।

जहाँ उच्च परिशुद्धता के साधन हैं, वहाँ FALSE POSITIVES

Precision = \frac{t p}{t p + f p}

$\text{Precision}=\frac{tp}{tp+fp}$

यहाँ समान, कम या शून्य झूठी सकारात्मक का मतलब है कि मॉडल की भविष्यवाणी वास्तव में अच्छी है।

— Anroop
स्रोत