scrivere un file gzip dal frame di dati

Question

Sto provando a scrivere un frame di dati in un file gzip ma avendo problemi.

Ecco il mio esempio di codice:

df1 <- data.frame(id = seq(1,10,1), var1 = runif(10), var2 = runif(10)) 

gz1 <- gzfile("df1.gz","w") 
writeLines(df1) 

Errore in writeLines(df1): non valido 'testo' argomento

Qualche suggerimento?

EDIT: un esempio di linea del vettore carattere sto cercando di scrivere è:

0 | var1:1.5 var2:.55 var7:1250 

L'etichetta classe/y-variabile viene separato dalle x-vars da un "|" e variabile i nomi sono separati dai valori con ":" e gli spazi tra le variabili.

EDIT2: Mi scuso per la formulazione/format della questione, ma ecco i risultati: Vecchio metodo:

system.time(write(out1, file="out1.txt")) 
# user system elapsed 
# 9.772 17.205 86.860 

Nuovo metodo:

writeGzFile <- function(){ 
    gz1 = gzfile("df1.gz","w"); 
    write(out1, gz1); 
    close(gz1) 
} 

system.time(writeGzFile()) 
# user system elapsed 
# 2.312 0.000 2.478 

Grazie a tutti molto per aiutandomi a capirlo.

Answer 1

writeLines prevede un elenco di stringhe. Il modo più semplice per scrivere questo in un file gzip sarebbe

df1 <- data.frame(id = seq(1,10,1), var1 = runif(10), var2 = runif(10)) 
gz1 <- gzfile("df1.gz", "w") 
write.csv(df1, gz1) 
close(gz1) 

Questo scriverà come csv zippato. Vedi anche write.table e write.csv2 per modi alternativi di scrivere il file.

EDIT: Sulla base dei aggiornamenti del post su formato desiderato, ho fatto la seguente helper (rapidamente gettati insieme, probabilmente ammette tonnellate di semplificazione):

function(df) { 
    rowCount <- nrow(df) 
    dfNames <- names(df) 
    dfNamesIndex <- length(dfNames) 
    sapply(1:rowCount, function(rowIndex) { 
     paste(rowIndex, '|', 
      paste(sapply(1:dfNamesIndex, function(element) { 
       c(dfNames[element], ':', df[rowIndex, element]) 
      }), collapse=' ') 
     ) 
    }) 
} 

Così il risultato è simile

a <- data.frame(x=1:10,y=rnorm(10)) 
writeLines(myser(a)) 
# 1 | x : 1 y : -0.231340933021948 
# 2 | x : 2 y : 0.896777389870928 
# 3 | x : 3 y : -0.434875004781075 
# 4 | x : 4 y : -0.0269824962632977 
# 5 | x : 5 y : 0.67654540494899 
# 6 | x : 6 y : -1.96965253674725 
# 7 | x : 7 y : 0.0863177759402661 
# 8 | x : 8 y : -0.130116466571162 
# 9 | x : 9 y : 0.418337557610229 
# 10 | x : 10 y : -1.22890714891874 

E tutto ciò che è necessario è passare il file gz per scrivereLine per ottenere l'output desiderato.

Answer 2

Per scrivere qualcosa in un file gzip è necessario "serializzarlo" in testo. Per gli oggetti R si può avere una pugnalata a che, utilizzando dput:

gz1 = gzfile("df1.gz","w") 
dput(df1, gz1) 
close(gz1) 

Tuttavia hai appena scritto una rappresentazione testuale del telaio dati nel file. Questo sarà probabilmente meno efficiente dell'uso di save(df1,file="df1.RData") per salvarlo in un file di dati R nativo. Chiediti: perché lo sto salvando come file .gz?

In un test rapido con alcuni numeri casuali, il file gz era 54k, il.file di RDATA era 34k

Answer 3

Un altro modo molto semplice per farlo è:

# We create the .csv file 
write.csv(df1, "df1.csv") 

# We compress it deleting the .csv 
system("gzip df1.csv") 

avuto l'idea da: http://blog.revolutionanalytics.com/2009/12/r-tip-save-time-and-space-by-compressing-data-files.html