मेरे पास एक csv फ़ाइल है जहां कुछ संख्यात्मक मानों को कॉमा के साथ हजार विभाजक के रूप में व्यक्त किया जाता है, उदाहरण "1,513"के लिए 1513। R में डेटा को पढ़ने का सबसे सरल तरीका क्या है?
मैं उपयोग कर सकता हूं read.csv(..., colClasses="character"), लेकिन फिर मुझे उन स्तंभों को संख्यात्मक में परिवर्तित करने से पहले संबंधित तत्वों से कॉमा को बाहर निकालना होगा, और मुझे ऐसा करने का एक साफ तरीका नहीं मिल सकता है।
जवाबों:
सुनिश्चित नहीं हैं कि कैसे के बारे में है करने के लिए read.csvयह ठीक से व्याख्या है, लेकिन आप उपयोग कर सकते हैं gsubबदलने के लिए ","के साथ "", और उसके बाद करने के लिए स्ट्रिंग में कनवर्ट numericका उपयोग कर as.numeric:
y <- c("1,200","20,000","100","12,111")
as.numeric(gsub(",", "", y))
# [1] 1200 20000 100 12111
यह पहले भी आर-हेल्प (और यहां Q2 में ) पर जवाब दिया गया था ।
वैकल्पिक रूप से, आप फ़ाइल को प्री-प्रोसेस कर सकते हैं, उदाहरण के लिए sedयूनिक्स में।
आप अपने लिए अर्ध-स्वचालित रूप से read.table या read.csv कर सकते हैं। पहले एक नई कक्षा की परिभाषा बनाएं, फिर एक रूपांतरण फ़ंक्शन बनाएँ और इसे सेटर्स फ़ंक्शन का उपयोग करके "के रूप में" विधि के रूप में सेट करें:
setClass("num.with.commas")
setAs("character", "num.with.commas",
function(from) as.numeric(gsub(",", "", from) ) )
इसके बाद read.csv चलाएं:
DF <- read.csv('your.file.here',
colClasses=c('num.with.commas','factor','character','numeric','num.with.commas'))
setClass("num.with.commas")या तो उपयोग कर सकता है या suppresMessage(setAs(.....))लापता वर्ग के बारे में संदेश से बचने के लिए।
मैं डेटा को पूर्व-संसाधित करने के बजाय R का उपयोग करना चाहता हूं क्योंकि यह डेटा को संशोधित करते समय इसे आसान बनाता है। शेन के उपयोग के सुझाव के बाद gsub, मुझे लगता है कि यह मेरे बारे में जितना साफ हो सकता है:
x <- read.csv("file.csv",header=TRUE,colClasses="character")
col2cvt <- 15:41
x[,col2cvt] <- lapply(x[,col2cvt],function(x){as.numeric(gsub(",", "", x))})
यह सवाल कई साल पुराना है, लेकिन मैं इस पर अड़ गया, जिसका मतलब है कि शायद दूसरे लोग भी करेंगे।
readrपुस्तकालय / पैकेज इसे करने के लिए कुछ अच्छा विशेषताएं है। उनमें से एक "गड़बड़" कॉलम की व्याख्या करने का एक अच्छा तरीका है, इन जैसे।
library(readr)
read_csv("numbers\n800\n\"1,800\"\n\"3500\"\n6.5",
col_types = list(col_numeric())
)
यह प्रदान करता है
स्रोत: स्थानीय डेटा फ्रेम [४ x १]
numbers
(dbl)
1 800.0
2 1800.0
3 3500.0
4 6.5
फ़ाइलों में पढ़ते समय एक महत्वपूर्ण बिंदु: आपको या तो पूर्व-प्रक्रिया करनी होती है, जैसे कि ऊपर दी गई टिप्पणी sed, या आपको पढ़ते समय प्रक्रिया करनी होती है । अक्सर, यदि आप तथ्य के बाद चीजों को ठीक करने की कोशिश करते हैं, तो कुछ खतरनाक धारणाएं बनती हैं, जिन्हें ढूंढना मुश्किल होता है। (यही वजह है कि फ्लैट फाइलें पहली जगह में इतनी बुरी हैं।)
उदाहरण के लिए, अगर मैंने झंडा नहीं लगाया होता, तो मुझे col_typesयह मिल जाता:
> read_csv("numbers\n800\n\"1,800\"\n\"3500\"\n6.5")
Source: local data frame [4 x 1]
numbers
(chr)
1 800
2 1,800
3 3500
4 6.5
(ध्यान दें कि यह अब chr(के characterबजाय) है numeric।)
या, अधिक खतरनाक रूप से, यदि यह काफी लंबा था और अधिकांश प्रारंभिक तत्वों में अल्पविराम नहीं थे:
> set.seed(1)
> tmp <- as.character(sample(c(1:10), 100, replace=TRUE))
> tmp <- c(tmp, "1,003")
> tmp <- paste(tmp, collapse="\"\n\"")
(ऐसा है कि पिछले कुछ तत्वों की तरह लग रहे :)
\"5\"\n\"9\"\n\"7\"\n\"1,003"तब आपको उस अल्पविराम को पढ़ने में परेशानी होगी!
> tail(read_csv(tmp))
Source: local data frame [6 x 1]
3"
(dbl)
1 8.000
2 5.000
3 5.000
4 9.000
5 7.000
6 1.003
Warning message:
1 problems parsing literal data. See problems(...) for more details.
dplyrसमाधान का उपयोग कर mutate_allऔर पाइपआप निम्नलिखित है:
> dft
Source: local data frame [11 x 5]
Bureau.Name Account.Code X2014 X2015 X2016
1 Senate 110 158,000 211,000 186,000
2 Senate 115 0 0 0
3 Senate 123 15,000 71,000 21,000
4 Senate 126 6,000 14,000 8,000
5 Senate 127 110,000 234,000 134,000
6 Senate 128 120,000 159,000 134,000
7 Senate 129 0 0 0
8 Senate 130 368,000 465,000 441,000
9 Senate 132 0 0 0
10 Senate 140 0 0 0
11 Senate 140 0 0 0
और वर्ष चर X2014-X2016 से कॉमा को निकालना चाहते हैं, और उन्हें संख्यात्मक में परिवर्तित करते हैं। यह भी बताएं कि X2014-X2016 को कारकों के रूप में पढ़ा जाता है (डिफ़ॉल्ट)
dft %>%
mutate_all(funs(as.character(.)), X2014:X2016) %>%
mutate_all(funs(gsub(",", "", .)), X2014:X2016) %>%
mutate_all(funs(as.numeric(.)), X2014:X2016)
mutate_allfunsनिर्दिष्ट कॉलम के अंदर फ़ंक्शन (ओं) को लागू करता है
मैंने इसे क्रमिक रूप से किया था, एक समय में एक फ़ंक्शन (यदि आप अंदर कई फ़ंक्शन का उपयोग करते हैं funsतो आप अतिरिक्त, अनावश्यक कॉलम बनाते हैं)
mutate_eachपदावनत किया गया है। क्या आप अपने उत्तर को mutate_atया इसी तरह से अपडेट करना चाहते हैं ?
आर में "प्रीप्रोसेस":
lines <- "www, rrr, 1,234, ttt \n rrr,zzz, 1,234,567,987, rrr"उपयोग कर सकते हैं readLinesएक पर textConnection। फिर केवल उन अल्पविरामों को हटाएं जो अंकों के बीच हैं:
gsub("([0-9]+)\\,([0-9])", "\\1\\2", lines)
## [1] "www, rrr, 1234, ttt \n rrr,zzz, 1234567987, rrr"
यह जानना उपयोगी है, लेकिन इस सवाल के लिए सीधे प्रासंगिक नहीं है कि दशमलव विभाजकों के रूप में अल्पविराम को read.csv2 (स्वचालित रूप से) या read.table ('dec'-पैरामीटर की सेटिंग के साथ) द्वारा नियंत्रित किया जा सकता है।
संपादित करें: बाद में मुझे पता चला कि एक नए वर्ग को डिज़ाइन करके कोलक्लासेस का उपयोग कैसे किया जाता है। देख:
संख्यात्मक वर्ग के रूप में R में 1000 विभाजक के साथ df कैसे लोड करें?
एक बहुत ही सुविधाजनक तरीका readr::read_delim-family है। यहाँ से उदाहरण लेते हुए:
आर में कई विभाजकों के साथ सीएसवी आयात करना आप इसे निम्नानुसार कर सकते हैं:
txt <- 'OBJECTID,District_N,ZONE_CODE,COUNT,AREA,SUM
1,Bagamoyo,1,"136,227","8,514,187,500.000000000000000","352,678.813105723350000"
2,Bariadi,2,"88,350","5,521,875,000.000000000000000","526,307.288878142830000"
3,Chunya,3,"483,059","30,191,187,500.000000000000000","352,444.699742995200000"'
require(readr)
read_csv(txt) # = read_delim(txt, delim = ",")अपेक्षित परिणाम में कौन सा परिणाम:
# A tibble: 3 × 6
OBJECTID District_N ZONE_CODE COUNT AREA SUM
<int> <chr> <int> <dbl> <dbl> <dbl>
1 1 Bagamoyo 1 136227 8514187500 352678.8
2 2 Bariadi 2 88350 5521875000 526307.3
3 3 Chunya 3 483059 30191187500 352444.7Read_delim फ़ंक्शन का उपयोग करना, जो रीड लाइब्रेरी का हिस्सा है , आप अतिरिक्त पैरामीटर निर्दिष्ट कर सकते हैं:
locale = locale(decimal_mark = ",")
read_delim("filetoread.csv", ';", locale = locale(decimal_mark = ","))* दूसरी पंक्ति में अर्धविराम का अर्थ है कि read_delim csv अर्धविराम से अलग किए गए मानों को पढ़ेगा।
यह उचित संख्या के रूप में अल्पविराम के साथ सभी नंबरों को पढ़ने में मदद करेगा।
सादर
माटूस कानिया
हम भी उपयोग कर सकते हैं readr::parse_number, कॉलम में अक्षर होने चाहिए। अगर हम इसे कई कॉलम के लिए अप्लाई करना चाहते हैं तो हम कॉलम के जरिए लूप कर सकते हैंlapply
df[2:3] <- lapply(df[2:3], readr::parse_number)
df
# a b c
#1 a 12234 12
#2 b 123 1234123
#3 c 1234 1234
#4 d 13456234 15342
#5 e 12312 12334512या उपयोग mutate_atसे dplyrविशिष्ट चरों पर लागू करने का।
library(dplyr)
df %>% mutate_at(2:3, readr::parse_number)
#Or
df %>% mutate_at(vars(b:c), readr::parse_number)डेटा
df <- data.frame(a = letters[1:5],
b = c("12,234", "123", "1,234", "13,456,234", "123,12"),
c = c("12", "1,234,123","1234", "15,342", "123,345,12"),
stringsAsFactors = FALSE)मुझे लगता है कि प्रीप्रोसेसिंग जाने का रास्ता है। आप नोटपैड ++ का उपयोग कर सकते हैं जिसमें एक नियमित अभिव्यक्ति प्रतिस्थापित विकल्प है।
उदाहरण के लिए, यदि आपकी फ़ाइल इस प्रकार थी:
"1,234","123","1,234"
"234","123","1,234"
123,456,789फिर, आप नियमित अभिव्यक्ति का उपयोग कर सकते हैं "([0-9]+),([0-9]+)"और इसे बदल सकते हैं\1\2
1234,"123",1234
"234","123",1234
123,456,789तब आप x <- read.csv(file="x.csv",header=FALSE)फ़ाइल को पढ़ने के लिए उपयोग कर सकते हैं ।
setAs("character", "logical.Y.N", function(from) c(Y=TRUE,N=FALSE)[from] ))।