Ottenere HTML da pagine Web che utilizzano AJAX

Question

Volevo sapere come raschiare le pagine Web che utilizzano AJAX per recuperare il contenuto della pagina Web da sottoporre a rendering. In genere un GET HTTP per tali pagine preleverà semplicemente la pagina HTML con il codice JavaScript incorporato. Ma voglio sapere se è possibile eseguire una query programmaticamente (preferibilmente Java) per tali pagine e simulare un tipo di browser Web di una richiesta in modo da ottenere il contenuto HTML risultante dopo le chiamate AJAX.

Answer 1

Si consiglia di guardare htmlunit

Answer 2

In The Productive Programmer autore Neal Ford suggerisce che lo strumento di test funzionale Selenium può essere utilizzato per attività non di test. Il tuo compito di ispezionare HTML dopo che la manipolazione del DOM lato client è avvenuta rientra in questa categoria. Il selenio ti consente anche di automatizzare le interazioni con il browser, quindi se hai bisogno di alcuni pulsanti cliccati per attivare alcuni eventi AJAX, puoi copiarlo. Il selenio funziona utilizzando un plug-in del browser e un server basato su java. Il codice del test del selenio (o codice non di test nel tuo caso) può essere scritto in una varietà di linguaggi tra cui java, C# e altri linguaggi .Net, php, perl, python e ruby.

Answer 3

Perché scegliere quando si può avere entrambe le cose? TestPlan supporta sia selenio che HTMLUnit come back-end. Inoltre, ha un linguaggio molto semplice per eseguire i compiti più comuni (le estensioni possono essere scritte in Java se necessario, il che è raro in realtà).