Utilizzo di R per scaricare il file di dati compresso, estrarre e importare i dati

Question

@EZGraphs su Twitter scrive: "Un sacco di csv online sono compressi, c'è un modo per scaricare, decomprimere l'archivio e caricare i dati in un dato. frame using R? #Rstats "

Anche stavo cercando di farlo oggi, ma ho finito per scaricare il file zip manualmente.

ho provato qualcosa di simile:

fileName <- "http://www.newcl.org/data/zipfiles/a1.zip" 
con1 <- unz(fileName, filename="a1.dat", open = "r") 

ma mi sento come se fossi lontano. Qualche idea?

Answer 1

Gli archivi zip sono in realtà più un "file system" con metadati dei contenuti ecc. Per ulteriori dettagli, vedere help(unzip). Quindi, per fare ciò che si disegna sopra è necessario

1. Creare una temp. nome del file (es. tempfile())
2. Utilizzare download.file() per recuperare il file nel temp. file
3. Utilizzare unz() per estrarre il file di destinazione da temp. il file
4. Rimuovere il file temporaneo tramite unlink()

che nel codice (grazie per esempio di base, ma questo è più semplice) si presenta come

temp <- tempfile() 
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp) 
data <- read.table(unz(temp, "a1.dat")) 
unlink(temp) 

compressa (.z) o gzip (.gz) o bzip2ed (.bz2) i file sono solo il file e quelli che è possibile leggere direttamente da una connessione. Così ottenere il provider di dati da utilizzare che invece :)

Answer 2

Solo per la cronaca, ho provato a tradurre la risposta di Dirk in codice :-P

temp <- tempfile() 
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp) 
con <- unz(temp, "a1.dat") 
data <- matrix(scan(con),ncol=4,byrow=TRUE) 
unlink(temp) 

Answer 3

ho usato pacchetto CRAN "downloader" che si trova a http://cran.r-project.org/web/packages/downloader/index.html. Molto più facile.

download(url, dest="dataset.zip", mode="wb") 
unzip ("dataset.zip", exdir = "./") 

Answer 4

Prova questo codice. Funziona per me:

unzip(zipfile="<directory and filename>", 
     exdir="<directory where the content will be extracted>") 

Esempio:

unzip(zipfile="./data/Data.zip",exdir="./data") 

Answer 5

Per Mac (e presumo Linux) ...

Se l'archivio zip contiene un singolo file, è possibile utilizzare la bash comandare funzip, in combinazione con fread dal pacchetto data.table:

library(data.table) 
dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | funzip") 

Nei casi in cui l'archivio contiene più file, è possibile utilizzare tar invece per estrarre un file specifico stdout:

dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | tar -xf- --to-stdout *a1.dat") 

Answer 6

di farlo usando data.table, ho scoperto che le seguenti opere. Sfortunatamente, il link non funziona più, quindi ho usato un link per un altro set di dati.

library(data.table) 
temp <- tempfile() 
download.file("https://www.bls.gov/tus/special.requests/atusact_0315.zip", temp) 
timeUse <- fread(unzip(temp, files = "atusact_0315.dat")) 
rm(temp) 

So che questo è possibile in una sola riga in quanto è possibile passare script bash per fread, ma io non sono sicuro di come scaricare un file .zip, estrarre, e passare un singolo file da quello a fread.

Answer 7

Ecco un esempio che funziona per i file che non possono essere letti con la funzione read.table. Questo esempio legge un file .xls.

url <-"https://www1.toronto.ca/City_Of_Toronto/Information_Technology/Open_Data/Data_Sets/Assets/Files/fire_stns.zip" 

temp <- tempfile() 
temp2 <- tempfile() 

download.file(url, temp) 
unzip(zipfile = temp, exdir = temp2) 
data <- read_xls(file.path(temp2, "fire station x_y.xls")) 

unlink(c(temp, temp2))