read.csv è estremamente lento nella lettura di file CSV con grandi numeri di colonne

Question

Ho un file .csv: example.csv con 8000 colonne x 40000 righe. Il file csv ha un'intestazione di stringa per ogni colonna. Tutti i campi contengono valori interi compresi tra 0 e 10. Quando provo a caricare questo file con read.csv, risulta estremamente lento. È anche molto lento quando aggiungo un parametro nrow = 100. Mi chiedo se c'è un modo per accelerare read.csv, o utilizzare qualche altra funzione invece di read.csv per caricare il file in memoria come matrice o data.frame?

Grazie in anticipo.

Answer 1

Se il CSV contiene solo numeri interi, si dovrebbe usare scan invece di read.csv, dal momento che ?read.csv dice:

‘read.table’ is not the right tool for reading large matrices, 
especially those with many columns: it is designed to read _data 
frames_ which may have columns of very different classes. Use 
‘scan’ instead for matrices. 

Dal momento che il file ha un'intestazione, avrete bisogno di skip=1, e probabilmente sarà più veloce se si impostare what=integer(). Se è necessario utilizzare read.csv e la velocità/il consumo di memoria sono un problema, l'impostazione dell'argomento colClasses è di grande aiuto.

Answer 2

Se leggerai il file spesso, potrebbe valere la pena salvarlo da R in formato binario usando la funzione save. Specificare compress=FALSE spesso si traduce in tempi di caricamento più rapidi.

... È quindi possibile caricarlo con la (sorpresa!) Funzione load.

d <- as.data.frame(matrix(1:1e6,ncol=1000)) 
write.csv(d, "c:/foo.csv", row.names=FALSE) 

# Load file with read.csv 
system.time(a <- read.csv("c:/foo.csv")) # 3.18 sec 

# Load file using scan 
system.time(b <- matrix(scan("c:/foo.csv", 0L, skip=1, sep=','), 
         ncol=1000, byrow=TRUE)) # 0.55 sec 

# Load (binary) file using load 
save(d, file="c:/foo.bin", compress=FALSE) 
system.time(load("c:/foo.bin")) # 0.09 sec 

Answer 3

Provare a utilizzare fread{data.table}. Questo è di gran lunga il modo più veloce per leggere i file .csv in R. C'è un good benchmark here.

library(data.table) 

data <- fread("c:/data.csv") 

Se si vuole rendere ancora più veloce, si può anche leggere solo il sottoinsieme di colonne che si desidera utilizzare:

data <- fread("c:/data.csv", select = c("col1", "col2", "col3")) 

Answer 4

Provate anche readr pacchetto di Hadley Wickham:

library(readr) 
data <- read_csv("file.csv")