precision-recall पर टैग किए गए जवाब

मैं उनके बीच औपचारिक मतभेदों को समझता हूं, जो मैं जानना चाहता हूं वह यह है कि एक बनाम दूसरे का उपयोग करना अधिक प्रासंगिक है। क्या वे हमेशा किसी दिए गए वर्गीकरण / पहचान प्रणाली के प्रदर्शन के बारे में पूरक अंतर्दृष्टि प्रदान करते हैं? एक कागज में यह …

159 machine-learning  roc  precision-recall 

मुझे आश्चर्य है कि एक बहु-श्रेणी वर्गीकरण समस्या के लिए उलझन मैट्रिक्स का उपयोग करके परिशुद्धता की गणना कैसे करें और याद करें। विशेष रूप से, एक अवलोकन केवल अपने सबसे संभावित वर्ग / लेबल को सौंपा जा सकता है। मैं गणना करना चाहूंगा: परिशुद्धता = टीपी / (टीपी + …

92 machine-learning  classification  precision-recall  multi-class 

मैं सोच रहा हूं कि मल्टीस्केल्स मल्टीलेबल वर्गीकरण के लिए सटीक और रिकॉल उपायों की गणना कैसे करें, अर्थात वर्गीकरण जहां दो से अधिक लेबल हैं, और जहां प्रत्येक उदाहरण में कई लेबल हो सकते हैं?

72 machine-learning  classification  precision-recall  multi-class 

मैं जानना चाहता हूं कि एफ-माप मूल्यों के अंतर की व्याख्या कैसे करें। मुझे पता है कि एफ-माप सटीक और याद के बीच एक संतुलित साधन है, लेकिन मैं एफ-उपायों में अंतर के व्यावहारिक अर्थ के बारे में पूछ रहा हूं। उदाहरण के लिए, यदि एक क्लासिफायरियर C1 में 0.4 …

41 classification  precision-recall 

मेरे पास एक वर्गीकरण कार्य है जहां मेरे पास कई भविष्यवक्ता हैं (जिनमें से एक सबसे अधिक जानकारीपूर्ण है), और मैं अपने क्लासिफायर का निर्माण करने के लिए MARS मॉडल का उपयोग कर रहा हूं (मैं किसी भी सरल मॉडल में दिलचस्पी रखता हूं, और उदाहरण के लिए चित्र का …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

मेरे पास एक उदाहरण है जो मैंने स्केलेर के sklearn.metrics.classification_report प्रलेखन से खींचा है। मुझे समझ में नहीं आता है कि प्रत्येक वर्ग के लिए f1- स्कोर, सटीक और रिकॉल मान क्यों हैं, जहां मुझे विश्वास है कि कक्षा भविष्यवक्ता लेबल है? मुझे लगा कि एफ 1 स्कोर आपको मॉडल …

29 machine-learning  python  scikit-learn  precision-recall 

क्या औसत परिशुद्धता (एपी) परिशुद्धता-रिकॉल वक्र (पीआर-वक्र के एयूसी) के तहत क्षेत्र है? संपादित करें: यहाँ पीआर एयूसी और एपी में अंतर के बारे में कुछ टिप्पणी है। AUC परिशुद्धता के ट्रैपेज़ोइडल प्रक्षेप द्वारा प्राप्त किया जाता है। एक विकल्प और आमतौर पर लगभग बराबर मीट्रिक औसत परिशुद्धता (एपी) है, …

27 scikit-learn  precision-recall  auc  average-precision 

मैं एफ 1 स्कोर, डाइस स्कोर और आईओयू (संघ से अधिक अंतर) के बीच के मतभेदों को लेकर उलझन में था। अब तक मुझे पता चला कि एफ 1 और डाइस का मतलब एक ही चीज (दाएं?) और आईओयू का अन्य दोनों के समान है। एफ 1 / पासा: 2 …

24 terminology  accuracy  precision-recall 

मैं एक धोखाधड़ी का पता लगाने (क्रेडिट-स्कोरिंग जैसी) समस्या से निपटता हूं। जैसे कि धोखाधड़ी और गैर-धोखाधड़ी टिप्पणियों के बीच अत्यधिक असंतुलित संबंध है। http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html विभिन्न वर्गीकरण मीट्रिक का एक बड़ा अवलोकन प्रदान करता है। Precision and Recallया kappaदोनों एक अच्छा विकल्प लगते हैं: ऐसे क्लासिफायर के परिणामों को सही …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

परिशुद्धता के रूप में परिभाषित किया गया है: p = true positives / (true positives + false positives) क्या यह सही है, जैसा कि true positivesऔर false positivesदृष्टिकोण 0, सटीक दृष्टिकोण 1? याद करने के लिए एक ही सवाल: r = true positives / (true positives + false negatives) मैं …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

मैंने अभी इस चर्चा को पढ़ना समाप्त किया है । उनका तर्क है कि PR AUC असंतुलित डेटासेट पर ROC AUC से बेहतर है। उदाहरण के लिए, हमारे पास परीक्षण डेटासेट में 10 नमूने हैं। 9 नमूने सकारात्मक हैं और 1 नकारात्मक है। हमारे पास एक भयानक मॉडल है जो …

18 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

मुझे कुछ संदेह हैं कि कौन से प्रदर्शन का उपयोग करने के लिए माप, आरओसी वक्र के तहत क्षेत्र (एफपीआर के एक समारोह के रूप में टीपीआर) या सटीक-रिकॉल वक्र के तहत क्षेत्र (याद के एक समारोह के रूप में सटीक)। मेरा डेटा असंतुलित है, अर्थात, नकारात्मक उदाहरणों की संख्या …

16 r  machine-learning  roc  precision-recall  auc 

क्या कोई मेरे लिए संभावित उदाहरणों के साथ संक्षेप में बता सकता है कि प्रशिक्षण के आंकड़ों को बढ़ाने से किन स्थितियों में समग्र प्रणाली में सुधार होता है? जब हम यह पता लगाते हैं कि अधिक प्रशिक्षण डेटा जोड़ना संभवतः डेटा को अधिक फिट कर सकता है और परीक्षण …

16 machine-learning  classification  dataset  precision-recall 

परिशुद्धता के रूप में परिभाषित किया गया है: पी = सही सकारात्मक / (सही सकारात्मक + झूठी सकारात्मक) सटीक का मान क्या है (यदि वास्तविक सकारात्मक + गलत सकारात्मक) = 0? क्या यह सिर्फ अपरिभाषित है? याद करने के लिए एक ही सवाल: r = सही सकारात्मक / (सच्ची सकारात्मक …

16 precision-recall 

मैं caretआर में पैकेज के माध्यम से ढाल बूस्टिंग मशीन एल्गोरिदम का प्रयोग कर रहा हूं । एक छोटे से कॉलेज प्रवेश डेटासेट का उपयोग करते हुए, मैंने निम्नलिखित कोड चलाया: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable