धार के मामलों में सटीक और याद रखने के लिए सही मूल्य क्या हैं?

20

परिशुद्धता के रूप में परिभाषित किया गया है:

p = true positives / (true positives + false positives)

क्या यह सही है, जैसा कि true positivesऔर false positivesदृष्टिकोण 0, सटीक दृष्टिकोण 1?

याद करने के लिए एक ही सवाल:

r = true positives / (true positives + false negatives)

मैं वर्तमान में एक सांख्यिकीय परीक्षण लागू कर रहा हूं, जहां मुझे इन मूल्यों की गणना करने की आवश्यकता है, और कभी-कभी ऐसा होता है कि भाजक 0 है, और मैं सोच रहा हूं कि इस मामले के लिए कौन सा मूल्य वापस करना है।

पुनश्च: अनुचित टैग को माफ करना, मैं उपयोग करना चाहता था recall, precisionऔर limit, लेकिन मैं अभी तक नया टैग नहीं बना सकता।

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

— ब्योर्न पोललेक्स
स्रोत

मुझे नहीं लगता कि हमें लिमिट टैग की जरूरत है।

संभवतः आप कुछ नैदानिक प्रक्रिया के प्रदर्शन को निर्धारित करने का प्रयास कर रहे हैं; क्या कोई कारण है जो आप एक उचित सिग्नल डिटेक्शन थ्योरी मीट्रिक जैसे डी ', ए', या आरओसी वक्र के तहत क्षेत्र का उपयोग नहीं कर रहे हैं?

— माइक लॉरेंस

3

@ माइक, सटीक और रिकॉल सामान्य मूल्यांकन मेट्रिक्स हैं, उदाहरण के लिए, सूचना पुनर्प्राप्ति जहां आरओसी, या विशेष रूप से विशिष्टता का उपयोग करने के लिए अजीब है क्योंकि आप पहले से ही झूठी सकारात्मक की एक उच्च संख्या की उम्मीद करते हैं।

— user979

17

एक उलझन मैट्रिक्स को देखते हुए:

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

हम जानते हैं कि:

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

उन मामलों पर विचार करें जहां हर जगह शून्य है:

टीपी + एफएन = 0: का अर्थ है कि इनपुट डेटा में कोई सकारात्मक मामले नहीं थे
टीपी + एफपी = 0: का मतलब है कि सभी उदाहरणों को नकारात्मक के रूप में भविष्यवाणी की गई थी

— एमरो
स्रोत

9

अपने उत्तर का विस्तार करना: यदि टीपी = 0 (जैसा कि दोनों मामलों में) है, तो रीकॉल 1 है, क्योंकि विधि ने सभी को सही सकारात्मक नहीं खोजा है; परिशुद्धता 0 है अगर कोई एफपी और 1 अन्यथा है।

11

उत्तर हां है। अपरिभाषित किनारे के मामले तब होते हैं जब सच्चे सकारात्मक (टीपी) 0 होते हैं क्योंकि यह पी एंड आर दोनों के भाजक में होता है। इस मामले में,

याद करें = 1 जब एफएन = 0, चूंकि 100% टीपी की खोज की गई थी
परिशुद्धता = 1 जब एफपी = 0, चूंकि कोई भी परिणाम नहीं थे

यह @ mbq की टिप्पणी का सुधार है।

— जॉन लेहमैन
स्रोत

3

मैं विभिन्न शब्दावली से परिचित हूं। जिसे आप सटीक कहते हैं, मैं सकारात्मक भविष्य कहनेवाला मूल्य (पीपीवी)। और जिसे आप रिकॉल कहते हैं, मैं संवेदनशीलता (सेंसर) कहूंगा। :

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

संवेदनशीलता (याद) के मामले में, यदि भाजक शून्य है (जैसा कि अमरो बताते हैं), कोई सकारात्मक मामले नहीं हैं, इसलिए वर्गीकरण अर्थहीन है। (जो कि टीपी या एफएन शून्य होने से नहीं रुकता है, जिसके परिणामस्वरूप 1 या 0. की सीमित संवेदनशीलता होती है। ये बिंदु क्रमशः आरओसी वक्र के ऊपरी दाएं और निचले बाएं कोने में स्थित हैं - टीपीआर = 1 और टीपीआर = 0। )

पीपीवी की सीमा हालांकि सार्थक है। परीक्षण कट-ऑफ को इतना उच्च (या निम्न) सेट करना संभव है ताकि सभी मामलों को नकारात्मक के रूप में भविष्यवाणी की जाए। यह आरओसी वक्र के मूल में है। कटऑफ के मूल में पहुंचने से ठीक पहले PPV का सीमित मूल्य मूल से ठीक पहले ROC वक्र के अंतिम खंड पर विचार करके अनुमान लगाया जा सकता है। (यह मॉडल के लिए बेहतर हो सकता है क्योंकि आरओसी घटता कुख्यात शोर हैं।)

उदाहरण के लिए यदि 100 वास्तविक सकारात्मक और 100 वास्तविक निगेटिव हैं और TPR = 0.08, FPR = 0.02 से ROC वक्र दृष्टिकोण का अंतिम सिग्नम है, तो PPV सीमित होगा PPR ~ 0.08 * 100 / (0.08 * 100 + 0.02 * 100) ) = A/१० = 0.8.० यानी prob०% एक सच्चे सकारात्मक होने की संभावना।

व्यवहार में प्रत्येक नमूना आरओसी वक्र पर एक खंड द्वारा दर्शाया जाता है - एक वास्तविक सकारात्मक के लिए एक वास्तविक नकारात्मक और ऊर्ध्वाधर के लिए क्षैतिज। कोई भी मूल से पहले बहुत ही अंतिम खंड द्वारा PPV को सीमित करने का अनुमान लगा सकता है, लेकिन यह 1, 0 या 0.5 के अनुमानित सीमित PPV देगा, यह इस बात पर निर्भर करता है कि अंतिम नमूना एक सही सकारात्मक था, एक गलत सकारात्मक (वास्तविक नकारात्मक) या बनाया गया था एक बराबर टीपी और एफपी की। एक मॉडलिंग दृष्टिकोण बेहतर होगा, शायद डेटा को सामान्य मान रहे हैं - एक आम धारणा, उदाहरण के लिए: http://mdm.sagepub.com/content/8/3/197.short

— Thylacoleo
स्रोत

1

यह इस बात पर निर्भर करेगा कि "दृष्टिकोण 0" से आपका क्या मतलब है। यदि झूठी सकारात्मक और गलत नकारात्मक दोनों वास्तविक सकारात्मकता की तुलना में तेज दर से शून्य तक पहुंचती हैं, तो दोनों प्रश्नों के लिए हां। लेकिन अन्यथा, जरूरी नहीं।

— रॉब Hyndman
स्रोत

मैं वास्तव में दर नहीं जानता। सच कहूं तो मुझे पता है कि मेरा कार्यक्रम एक विभाजन-दर-शून्य के साथ दुर्घटनाग्रस्त हो गया और मुझे उस मामले को किसी तरह संभालने की आवश्यकता है।

— ब्योर्न पॉलेक्स