Scraping dei dati generati dinamicamente da JavaScript nel documento html utilizzando C#

Question

Come posso raschiare dati generati dinamicamente da JavaScript nel documento html utilizzando C#?

Utilizzando WebRequest e HttpWebResponse nella libreria C#, sono in grado di ottenere l'intero codice sorgente HTML come stringa, ma la difficoltà è che i dati che desidero non sono contenuti nel codice sorgente; i dati sono generati dinamicamente da JavaScript.

D'altra parte, se i dati che desidero sono già nel codice sorgente, sono in grado di ottenerli facilmente utilizzando le espressioni regolari.

Ho scaricato HtmlAgilityPack, ma non so se sarebbe preso cura del caso in cui gli elementi sono generati dinamicamente da JavaScript ...

La ringrazio molto!

Answer 1

Quando si effettua WebRequest, si richiede al server di fornire il file di pagina, il contenuto di questo file non è ancora stato analizzato/eseguito da un browser Web e pertanto il javascript non ha ancora eseguito alcuna operazione.

È necessario utilizzare uno strumento per eseguire JavaScript nella pagina se si desidera vedere come appare la pagina dopo essere stata analizzata da un browser. Una delle opzioni disponibili è il controllo del browser Web .net incorporato: http://msdn.microsoft.com/en-au/library/aa752040(v=vs.85).aspx

Il controllo del browser Web può navigare e caricare la pagina e quindi è possibile interrogare il suo DOM che sarà stato modificato dal JavaScript sulla pagina.

EDIT (esempio):

Uri uri = new Uri("http://www.somewebsite.com/somepage.htm"); 

webBrowserControl.AllowNavigation = true; 
// optional but I use this because it stops javascript errors breaking your scraper 
webBrowserControl.ScriptErrorsSuppressed = true; 
// you want to start scraping after the document is finished loading so do it in the function you pass to this handler 
webBrowserControl.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowserControl_DocumentCompleted); 
webBrowserControl.Navigate(uri); 

---

private void webBrowserControl_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e) 
{ 
    HtmlElementCollection divs = webBrowserControl.Document.GetElementsByTagName("div"); 

    foreach (HtmlElement div in divs) 
    { 
     //do something 
    } 
} 

Answer 2

Si potrebbe dare un'occhiata a uno strumento come selenio per raschiare le pagine che ha Javascript.

http://www.andykelk.net/tech/headless-browser-testing-with-phantomjs-selenium-webdriver-c-nunit-and-mono