2009-09-08 11 views
129

Come raschiare le tabelle html utilizzando il pacchetto XML?Scraping tabelle html in frame di dati R utilizzando il pacchetto XML

Prendere, ad esempio, questa pagina di wikipedia su Brazilian soccer team. Mi piacerebbe leggerlo in R e ottenere la "lista di tutte le partite che il Brasile ha giocato contro le squadre riconosciute della FIFA" come data.frame. Come posso fare questo?

+9

Per individuare i selettori xpath, controlla selectorgadget.com/ - è fantastico – hadley

risposta

122

... o una prova più breve:

library(XML) 
library(RCurl) 
library(rlist) 
theurl <- getURL("https://en.wikipedia.org/wiki/Brazil_national_football_team",.opts = list(ssl.verifypeer = FALSE)) 
tables <- readHTMLTable(theurl) 
tables <- list.clean(tables, fun = is.null, recursive = FALSE) 
n.rows <- unlist(lapply(tables, function(t) dim(t)[1])) 

tavolo scelto è il più lungo nella pagina

tables[[which.max(n.rows)]] 
+0

La guida readHTMLTable fornisce anche un esempio di lettura di una tabella di testo normale da un elemento HTML PRE usando htmlParse(), getNodeSet(), textConnection() e read.table() –

46
library(RCurl) 
library(XML) 

# Download page using RCurl 
# You may need to set proxy details, etc., in the call to getURL 
theurl <- "http://en.wikipedia.org/wiki/Brazil_national_football_team" 
webpage <- getURL(theurl) 
# Process escape characters 
webpage <- readLines(tc <- textConnection(webpage)); close(tc) 

# Parse the html tree, ignoring errors on the page 
pagetree <- htmlTreeParse(webpage, error=function(...){}) 

# Navigate your way through the tree. It may be possible to do this more efficiently using getNodeSet 
body <- pagetree$children$html$children$body 
divbodyContent <- body$children$div$children[[1]]$children$div$children[[4]] 
tables <- divbodyContent$children[names(divbodyContent)=="table"] 

#In this case, the required table is the only one with class "wikitable sortable" 
tableclasses <- sapply(tables, function(x) x$attributes["class"]) 
thetable <- tables[which(tableclasses=="wikitable sortable")]$table 

#Get columns headers 
headers <- thetable$children[[1]]$children 
columnnames <- unname(sapply(headers, function(x) x$children$text$value)) 

# Get rows from table 
content <- c() 
for(i in 2:length(thetable$children)) 
{ 
    tablerow <- thetable$children[[i]]$children 
    opponent <- tablerow[[1]]$children[[2]]$children$text$value 
    others <- unname(sapply(tablerow[-1], function(x) x$children$text$value)) 
    content <- rbind(content, c(opponent, others)) 
} 

# Convert to data frame 
colnames(content) <- columnnames 
as.data.frame(content) 

A cura di aggiungere:

uscita Esempio

     Opponent Played Won Drawn Lost Goals for Goals against  % Won 
    1    Argentina  94 36 24 34  148   150 38.3% 
    2    Paraguay  72 44 17 11  160   61 61.1% 
    3     Uruguay  72 33 19 20  127   93 45.8% 
    ... 
+7

Per chiunque abbia la fortuna di trovare questo post, questo script probabilmente non verrà eseguito a meno che l'utente non aggiunga le informazioni "User-Agent", come descritto in questo altro utile post: http://stackoverflow.com/questions/9056705/setting-an-informative-user-agent-string-in-geturl – Rguy

23

Un'altra opzione utilizzando XPath.

library(RCurl) 
library(XML) 

theurl <- "http://en.wikipedia.org/wiki/Brazil_national_football_team" 
webpage <- getURL(theurl) 
webpage <- readLines(tc <- textConnection(webpage)); close(tc) 

pagetree <- htmlTreeParse(webpage, error=function(...){}, useInternalNodes = TRUE) 

# Extract table header and contents 
tablehead <- xpathSApply(pagetree, "//*/table[@class='wikitable sortable']/tr/th", xmlValue) 
results <- xpathSApply(pagetree, "//*/table[@class='wikitable sortable']/tr/td", xmlValue) 

# Convert character vector to dataframe 
content <- as.data.frame(matrix(results, ncol = 8, byrow = TRUE)) 

# Clean up the results 
content[,1] <- gsub(" ", "", content[,1]) 
tablehead <- gsub(" ", "", tablehead) 
names(content) <- tablehead 

Produce questo risultato

> head(content) 
    Opponent Played Won Drawn Lost Goals for Goals against % Won 
1 Argentina  94 36 24 34  148   150 38.3% 
2 Paraguay  72 44 17 11  160   61 61.1% 
3 Uruguay  72 33 19 20  127   93 45.8% 
4  Chile  64 45 12 7  147   53 70.3% 
5  Peru  39 27  9 3  83   27 69.2% 
6 Mexico  36 21  6 9  69   34 58.3% 
+0

Chiamata eccellente sull'uso di xpath. Punto secondario: puoi semplificare leggermente l'argomento del percorso modificando // */per //, ad es. "// table [@ class = 'wikitable sortable']/tr/th" –

+0

Viene visualizzato un messaggio di errore "Gli script devono utilizzare una stringa di utente-agente informativa con le informazioni di contatto, oppure possono essere bloccati tramite IP senza preavviso." [2] "Esiste un modo per implementare questo metodo? Opzioni – pssguy

+2

(RCurlOptions = elenco (useragent =" zzzz ")). Vedere anche http://www.omegahat.org/RCurl/FAQ.html sezione" Runtime "per altre alternative e discussioni – learnr

14

Il rvest lungo con xml2 è un altro pacchetto popolare per l'analisi di htm l pagine web.

library(rvest) 
theurl <- "http://en.wikipedia.org/wiki/Brazil_national_football_team" 
file<-read_html(theurl) 
tables<-html_nodes(file, "table") 
table1 <- html_table(tables[4], fill = TRUE) 

La sintassi è più facile da usare rispetto al pacchetto XML e per la maggior parte pagina web o un codice XML fornisce tutte le esigenze opzioni quelli.

+0

Il read_html restituisce me l'errore "'file: ///Users/grieb/Auswertungen/tetyana-snp-2016/data/snp-nexus/15/SNP%20Annotation%20Tool.html' non esiste nella directory di lavoro corrente ('/ Users/Grieb/Auswertungen/Tetyana-SNP-2016/code ') ". – scs

Problemi correlati