come raschiare html generato da javascript usando python?

Question

Voglio raschiare l'html generato da javascript, proprio come quello che si può vedere in Firebug.

UPDATE: ho trovato questo articolo: http://blog.motane.lu/2009/07/07/downloading-a-pages-content-with-python-and-webkit/ che utilizzano PyQt per risolvere il problema e funziona bene per me.

ma un altro problema verificarsi: Devo effettuare il login al sito prima, ma non so come simulare login in PyQt .... :(

Answer 1

Dai un'occhiata alla this article che descrive utilizzando Windmill fare scrape una pagina dopo che Javascript è stato eseguito dal browser

In questo articolo verrà mostrato come estrarre le informazioni desiderate utilizzando gli stessi tre passaggi quando la pagina Web non viene scritta direttamente utilizzando HTML, ma viene generata automaticamente utilizzando JavaScript per aggiornare l'albero DOM

Hanno alcuni esempi, sono sicuro che si può facilmente adattare.

Answer 2

Per la precisione con la terminologia, Javascript non genera HTML. Javascript genera e manipola il DOM nel tuo browser. Firebug ti mostra la rappresentazione HTML di quel DOM in modo che sia leggibile. L'HTML non esiste realmente. :)

Non penso che esista una soluzione semplice e immediata. Si consiglia di guardare this blog post and comments che hanno alcune indicazioni.

Answer 3

Si potrebbe utilizzare spidermonkey pitone, che è un wrapper python per il motore di Firefox: http://code.google.com/p/python-spidermonkey/

Ma il progetto sembra un po 'immaturo.