Web scraping il sito Web basato su IIS

Question

Sto usando R per scovare un tavolo da this site.

Sto utilizzando la libreria rvest.

#install.packages("rvest", dependencies = TRUE) 
library(rvest) 
OPMpage <- read_html("https://www.opm.gov/policy-data-oversight/data-analysis-documentation/federal-employment-reports/historical-tables/total-government-employment-since-1962/") 

ricevo questo errore:

Error in open.connection(x, "rb") : HTTP error 403.

Che cosa sto facendo di sbagliato?

Answer 1

vostro formato per read_html o html è corretto:

library(rvest) 
lego_movie <- read_html("http://www.imdb.com/title/tt1490017/") 
lego_movie <-  html("http://www.imdb.com/title/tt1490017/") 

Ma stai ricevendo un 403 perché o la pagina o la parte della pagina che si sta cercando di raschiare non consente raschiatura.

Potrebbe essere necessario per vedere e utilizzare vignette("selectorgadget") selectorgadget in combinazione con rvest:

http://blog.rstudio.org/2014/11/24/rvest-easy-web-scraping-with-r/

Ma, più probabilmente, non è solo una pagina che è destinata ad essere raschiato. Tuttavia, ritengo che Barack Obama e il nuovo Chief Scientist degli Stati Uniti, DJ Patil, abbiano recentemente lanciato uno central hub per ottenere quel tipo di dati governativi statunitensi per un'importazione facile.

Answer 2

È forbidding you dall'accesso alla pagina perché hai NULL nella stringa user-agent delle intestazioni. (. Normalmente è una stringa dicendo che browser che si sta utilizzando, anche se alcuni browser consentono agli utenti di spoof altri browser) Usando il pacchetto httr, è possibile impostare una stringa user-agent:

library(httr) 
library(rvest) 

url <- "https://www.opm.gov/policy-data-oversight/data-analysis-documentation/federal-employment-reports/historical-tables/total-government-employment-since-1962/" 

x <- GET(url, add_headers('user-agent' = 'Gov employment data scraper ([[your email]])')) 

Avvolto in una richiesta GET, add_headers lascia imposti i parametri che ti piacciono È inoltre possibile utilizzare la funzione più specifica user_agent al posto di add_headers, se è tutto ciò che si desidera impostare.

In questo caso qualsiasi stringa user-agent funzionerà, ma è educata (vedere il collegamento alla fine) per dire chi sei e cosa vuoi.

Ora è possibile utilizzare rvest per analizzare l'HTML e tirare fuori la tabella. Avrai bisogno di un modo per selezionare la tabella pertinente; guardando l'HTML, ho visto che aveva class = "DataTable", ma puoi anche usare SelectorGadget (vedi le vignette rvest) per trovare un selettore CSS o XPath valido. Così

x %>% 
    read_html() %>% 
    html_node('.DataTable') %>% 
    html_table() 

ti dà un bello (se non totalmente pulito) data.frame.

Nota: Raschiare in modo responsabile e legale. Dato che l'OPM è una fonte governativa, è di dominio pubblico, ma non è il caso di gran parte del web. Leggere sempre tutti i termini di servizio, più this nice post on how to scrape responsibly.