क्या एफ-माप सटीकता का पर्याय है?

Question

मैं समझता हूं कि एफ-माप (सटीक और याद के आधार पर) एक अनुमान है कि एक क्लासिफायरियर कितना सटीक है। जब हम असंतुलित डेटासेट होते हैं, तब भी एफ-माप सटीकता का पक्षधर है । मेरे पास एक सरल प्रश्न है (जो तकनीक के बारे में सही शब्दावली का उपयोग करने के बारे में अधिक है)। मेरे पास असंतुलित डेटासेट है और मैं अपने प्रयोगों में एफ-माप का उपयोग करता हूं। मैं एक कागज जो है के बारे में लिखने के लिए कर रहा हूँ नहीं एक मशीन सीखने / डाटा खनन सम्मेलन के लिए। इसलिए, क्या मैं इस संदर्भ में सटीकता के साथ समानार्थक रूप से एफ-माप का उल्लेख कर सकता हूं। उदाहरण के लिए, मेरे पास 0.82 का एफ-माप है, फिर क्या मैं कह सकता हूं कि मेरा क्लासिफायर 82% सटीक पूर्वानुमान प्राप्त करता है?

Comments

यदि आप इसका उपयोग करते हैं तो एफ-माप को लागू करना बेहतर होगा। दोनों को प्रतिस्थापित करना मेरे दृष्टिकोण में सही नहीं है। आपके मामले में अगर आपकी सटीकता 99% है, तो आप 99% सटीक भविष्यवाणियां प्राप्त करेंगे, इससे कोई फर्क नहीं पड़ता कि आपका एफ-माप क्या है, और यह पाठकों को त्रुटि में ले जा सकता है।

— AdrienNK

@ AdrienNK: 99% सटीकता 99% सही भविष्यवाणियों को लागू नहीं करती है जब तक कि परीक्षण के मामलों की सापेक्ष आवृत्तियों वास्तविक आवेदन की स्थिति के समान न हों।

— SX

@cbeleites आप सही हैं, मुझे पता है, लेकिन अक्सर परीक्षण के मामलों को एक ही वितरण से जारी किया जाता है (अच्छी तरह से शायद पक्षपाती दृश्य मेरे पास है क्योंकि मुझे शायद ही कभी उस डेटा के साथ काम करना पड़ता था जिस पर मामला नहीं था)

— एड्रिएनके

@ AdrienNK: मैं विश्लेषणात्मक रसायनज्ञ हूं जो चिकित्सा निदान की दिशा में काम कर रहा है। प्रश्न में बीमारी की व्यापकता अलग-अलग रोगी उप-योगों के बीच परिमाण के आदेशों के बारे में भिन्न हो सकती है। जैसे इस लेख की दूसरी छमाही में विभिन्न PPVs की चर्चा देखें: nature.com/news/2011/110323/full/471428a.html

— SX से नाखुश cbeleites

यह एक आकर्षक पाठ था, मेरे ध्यान में लाने के लिए धन्यवाद।

— AdrienNK

Answer 1

सबसे पहले, मैं "सटीकता" कभी-कभी थोड़ा भ्रामक पाता हूं, क्योंकि यह अलग-अलग चीजों को संदर्भित करता है:

सिस्टम या विधियों (मैं विश्लेषणात्मक रसायनज्ञ हूं) के मूल्यांकन के लिए जीनल में शब्द सटीकता भविष्यवाणियों के पूर्वाग्रह को संदर्भित करता है, अर्थात यह सवाल का जवाब देता है कि औसतन कितनी अच्छी भविष्यवाणियां हैं।

जैसा कि आप जानते हैं, कई अलग-अलग प्रदर्शन उपाय हैं जो क्लासिफायर्स के प्रदर्शन के विभिन्न पहलुओं का जवाब देते हैं। उनमें से एक को सटीकता भी कहा जाता है। यदि आपका पेपर मशीन सीखने / वर्गीकरण करने वाले दर्शकों के लिए नहीं है, तो इस अंतर को बहुत स्पष्ट करने के लिए, मैं इसका उपयोग करूँगा। यहां तक ​​कि सटीकता के इस अधिक विशिष्ट अर्थ के लिए, मैं बहुत स्पष्ट होगा कि मैं सटीकता को फिर से कॉल करता हूं क्योंकि कक्षा असंतुलन से निपटने के कई तरीके हो सकते हैं। आमतौर पर, वर्ग असंतुलन को अनदेखा किया जाता है, जिससे जाने-माने गणना होती है। हालांकि, आप संवेदनशीलता और विशिष्टता के औसत का भी उपयोग कर सकते हैं, जो आपके औसत भार को वर्ग असंतुलन को नियंत्रित करने के लिए है।$\frac{TP+TN}{all~cases}$

एफ स्कोर अक्सर सटीक और याद का हरात्मक माध्य (या सकारात्मक भावी सूचक मूल्य और संवेदनशीलता) के रूप में शुरू की है। आपके प्रश्न के लिए, मुझे लगता है कि इसे थोड़ा आगे बढ़ाने और इसे सरल बनाने में मददगार है:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

पिछले अभिव्यक्ति है नहीं कुछ भी मैं परीक्षण मामलों की एक निश्चित समूह के रूप में के बारे में सोच सकते हैं कि का एक अंश। विशेष रूप से, ट्रू और पॉज़िटिव मामलों के बीच एक (भारी) ओवरलैप अपेक्षित है। यह मुझे प्रतिशत के रूप में एफ-स्कोर व्यक्त करने से रोकता है क्योंकि इस तरह के मामलों का अनुपात होता है। वास्तव में, मुझे लगता है कि मैं पाठक को चेतावनी दूंगा कि एफ-स्कोर की ऐसी व्याख्या नहीं है।

Comments

अधिक विशेष रूप से यह उपाय है। एफ-स्कोर को एक अलग पैरामीटर के साथ सामान्यीकृत किया जा सकता है$F_1$

— q

Answer 2

शीघ्र जवाब:

नहीं, F-measureसूत्र में TNकारक शामिल नहीं है, और यह पुनर्प्राप्त समस्याओं ^{(डॉक्टर)} पर उपयोगी है ।

इस प्रकार, यह ( F-measure) असंतुलित डेटासेट या पुनर्प्राप्ति समस्याओं के मामले में मूल्यांकन करने के लिए सही दृष्टिकोण है accuracyऔर इसके बजाय ROC।

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

---

[ नोट ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)