Dplyr संकरित विकल्प अब बेस आर सबसेट रीसाइनस की तुलना में लगभग 30% तेज हैं। 100M डेटापॉइंट डेटाफ्रेम mutate_all(~replace(., is.na(.), 0))पर बेस आर d[is.na(d)] <- 0विकल्प की तुलना में आधा सेकंड तेजी से चलता है । एक विशेष रूप से एक ifelse()या एक से बचने के लिए क्या चाहता है if_else()। (इन दृष्टिकोणों को शामिल करने के कारण पूरा 600 परीक्षण विश्लेषण 4.5 घंटे तक चला।) कृपया पूर्ण परिणामों के लिए नीचे दिए गए बेंचमार्क विश्लेषण देखें।
यदि आप बड़े पैमाने पर डेटाफ़्रेम से जूझ रहे हैं, data.tableतो सभी का सबसे तेज़ विकल्प है: मानक बेस आर दृष्टिकोण की तुलना में 40% तेज । यह जगह में डेटा को संशोधित करता है, प्रभावी रूप से आपको लगभग दो बार काम करने की अनुमति देता है जितना एक बार में डेटा।
अन्य सहायक tidyverse प्रतिस्थापन दृष्टिकोणों की एक क्लस्टरिंग
Locationally:
- सूची
mutate_at(c(5:10), ~replace(., is.na(.), 0))
- प्रत्यक्ष संदर्भ
mutate_at(vars(var5:var10), ~replace(., is.na(.), 0))
- तय मैच
mutate_at(vars(contains("1")), ~replace(., is.na(.), 0))
- या
contains()कोशिश के स्थान पर ends_with(),starts_with()
- पैटर्न मैच
mutate_at(vars(matches("\\d{2}")), ~replace(., is.na(.), 0))
सशर्त रूप से:
(केवल एकल प्रकार बदलें और अन्य प्रकारों को अकेला छोड़ दें।)
- पूर्णांकों
mutate_if(is.integer, ~replace(., is.na(.), 0))
- संख्या
mutate_if(is.numeric, ~replace(., is.na(.), 0))
- तार
mutate_if(is.character, ~replace(., is.na(.), 0))
पूरा विश्लेषण -
Dplyr 0.8.0 के लिए अपडेट किया गया: फ़ंक्शन purrr प्रारूप ~प्रतीकों का उपयोग करते हैं : पदावनत funs()तर्कों को प्रतिस्थापित करना ।
परीक्षण किए गए दृष्टिकोण:
# Base R:
baseR.sbst.rssgn <- function(x) { x[is.na(x)] <- 0; x }
baseR.replace <- function(x) { replace(x, is.na(x), 0) }
baseR.for <- function(x) { for(j in 1:ncol(x))
x[[j]][is.na(x[[j]])] = 0 }
# tidyverse
## dplyr
dplyr_if_else <- function(x) { mutate_all(x, ~if_else(is.na(.), 0, .)) }
dplyr_coalesce <- function(x) { mutate_all(x, ~coalesce(., 0)) }
## tidyr
tidyr_replace_na <- function(x) { replace_na(x, as.list(setNames(rep(0, 10), as.list(c(paste0("var", 1:10)))))) }
## hybrid
hybrd.ifelse <- function(x) { mutate_all(x, ~ifelse(is.na(.), 0, .)) }
hybrd.replace_na <- function(x) { mutate_all(x, ~replace_na(., 0)) }
hybrd.replace <- function(x) { mutate_all(x, ~replace(., is.na(.), 0)) }
hybrd.rplc_at.idx<- function(x) { mutate_at(x, c(1:10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.nse<- function(x) { mutate_at(x, vars(var1:var10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.stw<- function(x) { mutate_at(x, vars(starts_with("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.ctn<- function(x) { mutate_at(x, vars(contains("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.mtc<- function(x) { mutate_at(x, vars(matches("\\d+")), ~replace(., is.na(.), 0)) }
hybrd.rplc_if <- function(x) { mutate_if(x, is.numeric, ~replace(., is.na(.), 0)) }
# data.table
library(data.table)
DT.for.set.nms <- function(x) { for (j in names(x))
set(x,which(is.na(x[[j]])),j,0) }
DT.for.set.sqln <- function(x) { for (j in seq_len(ncol(x)))
set(x,which(is.na(x[[j]])),j,0) }
DT.nafill <- function(x) { nafill(df, fill=0)}
DT.setnafill <- function(x) { setnafill(df, fill=0)}
इस विश्लेषण के लिए कोड:
library(microbenchmark)
# 20% NA filled dataframe of 10 Million rows and 10 columns
set.seed(42) # to recreate the exact dataframe
dfN <- as.data.frame(matrix(sample(c(NA, as.numeric(1:4)), 1e7*10, replace = TRUE),
dimnames = list(NULL, paste0("var", 1:10)),
ncol = 10))
# Running 600 trials with each replacement method
# (the functions are excecuted locally - so that the original dataframe remains unmodified in all cases)
perf_results <- microbenchmark(
hybrid.ifelse = hybrid.ifelse(copy(dfN)),
dplyr_if_else = dplyr_if_else(copy(dfN)),
hybrd.replace_na = hybrd.replace_na(copy(dfN)),
baseR.sbst.rssgn = baseR.sbst.rssgn(copy(dfN)),
baseR.replace = baseR.replace(copy(dfN)),
dplyr_coalesce = dplyr_coalesce(copy(dfN)),
tidyr_replace_na = tidyr_replace_na(copy(dfN)),
hybrd.replace = hybrd.replace(copy(dfN)),
hybrd.rplc_at.ctn= hybrd.rplc_at.ctn(copy(dfN)),
hybrd.rplc_at.nse= hybrd.rplc_at.nse(copy(dfN)),
baseR.for = baseR.for(copy(dfN)),
hybrd.rplc_at.idx= hybrd.rplc_at.idx(copy(dfN)),
DT.for.set.nms = DT.for.set.nms(copy(dfN)),
DT.for.set.sqln = DT.for.set.sqln(copy(dfN)),
times = 600L
)
परिणाम का सारांश
> print(perf_results)
Unit: milliseconds
expr min lq mean median uq max neval
hybrd.ifelse 6171.0439 6339.7046 6425.221 6407.397 6496.992 7052.851 600
dplyr_if_else 3737.4954 3877.0983 3953.857 3946.024 4023.301 4539.428 600
hybrd.replace_na 1497.8653 1706.1119 1748.464 1745.282 1789.804 2127.166 600
baseR.sbst.rssgn 1480.5098 1686.1581 1730.006 1728.477 1772.951 2010.215 600
baseR.replace 1457.4016 1681.5583 1725.481 1722.069 1766.916 2089.627 600
dplyr_coalesce 1227.6150 1483.3520 1524.245 1519.454 1561.488 1996.859 600
tidyr_replace_na 1248.3292 1473.1707 1521.889 1520.108 1570.382 1995.768 600
hybrd.replace 913.1865 1197.3133 1233.336 1238.747 1276.141 1438.646 600
hybrd.rplc_at.ctn 916.9339 1192.9885 1224.733 1227.628 1268.644 1466.085 600
hybrd.rplc_at.nse 919.0270 1191.0541 1228.749 1228.635 1275.103 2882.040 600
baseR.for 869.3169 1180.8311 1216.958 1224.407 1264.737 1459.726 600
hybrd.rplc_at.idx 839.8915 1189.7465 1223.326 1228.329 1266.375 1565.794 600
DT.for.set.nms 761.6086 915.8166 1015.457 1001.772 1106.315 1363.044 600
DT.for.set.sqln 787.3535 918.8733 1017.812 1002.042 1122.474 1321.860 600
परिणाम का बॉक्सप्लेट
ggplot(perf_results, aes(x=expr, y=time/10^9)) +
geom_boxplot() +
xlab('Expression') +
ylab('Elapsed Time (Seconds)') +
scale_y_continuous(breaks = seq(0,7,1)) +
coord_flip()
परीक्षणों का रंग-कोडित स्कैटरप्लॉट (लॉग स्केल पर y- अक्ष के साथ)
qplot(y=time/10^9, data=perf_results, colour=expr) +
labs(y = "log10 Scaled Elapsed Time per Trial (secs)", x = "Trial Number") +
coord_cartesian(ylim = c(0.75, 7.5)) +
scale_y_log10(breaks=c(0.75, 0.875, 1, 1.25, 1.5, 1.75, seq(2, 7.5)))
अन्य उच्च कलाकारों पर एक नोट
जब डेटासेट बड़ा मिलता है, Tidyr 'के replace_naऐतिहासिक दृष्टि से सामने बाहर निकाला था। के माध्यम से चलाने के लिए 100M डेटा बिंदुओं के वर्तमान संग्रह के साथ, यह लगभग पूरी तरह से और साथ ही बेस आर फॉर लूप का प्रदर्शन करता है । मैं यह देखने के लिए उत्सुक हूं कि विभिन्न आकार के डेटाफ्रेम के लिए क्या होता है।
के लिए अतिरिक्त उदाहरण mutateऔर summarize _atऔर _allसमारोह वेरिएंट यहां पाया जा सकता: https://rdrr.io/cran/dplyr/man/summarise_all.html
: इसके अतिरिक्त, मैं उपयोगी प्रदर्शनों और उदाहरण के संग्रह यहां पाया https: //blog.exploratory। कब / dplyr-0-5-है-भयानक-यहाँ-क्यों-be095fd4eb8a
गुण और प्रशंसा
विशेष धन्यवाद के साथ:
- माइक्रोएन्चमार्क प्रदर्शित करने के लिए टायलर रिंकर और अक्रुन।
- एलेक्सिस_लज़ मुझे काम करने में मदद करने के लिए
local(), और फ्रैंक के रोगी की मदद के बारे में भी समझने में मदद करता है, मूक बलात्कार जो इन दृष्टिकोणों में से कई को गति देने में भूमिका निभाता है।
- नए
coalesce()फ़ंक्शन को जोड़ने और विश्लेषण को अद्यतन करने के लिए प्रहार के लिए आर्थुरिप ।
data.tableअच्छी तरह से कार्यों को अंजाम देने के लिए ग्रेगर आखिरकार उन्हें लाइनअप में शामिल कर लेता है।- बेस आर लूप के लिए: एलेक्सिस_लज़
- data.table लूप्स के लिए: Matt_Dowle
- रोमन
is.numeric()वास्तव में परीक्षण करता है , यह समझाने के लिए ।
(बेशक, कृपया ऊपर पहुंचें और उन्हें अपवोट दें, भले ही आप उन दृष्टिकोणों को उपयोगी पाते हों।)
न्यूमेरिक्स के मेरे उपयोग पर ध्यान दें: यदि आपके पास शुद्ध पूर्णांक डेटासेट है, तो आपके सभी कार्य तेजी से चलेंगे। अधिक जानकारी के लिएकृपया alexiz_laz का काम देखें। IRL, मैं 10-15% से अधिक पूर्णांक वाले डेटा सेट का सामना करना याद नहीं कर सकता, इसलिए मैं पूरी तरह से संख्यात्मक डेटाफ़्रेम पर इन परीक्षणों को चला रहा हूं।
हार्डवेयर में
24 जीबी रैम के साथ 3.9 गीगाहर्ट्ज़ सीपीयू का इस्तेमाल किया गया है