Lettura di pagine web generate dinamicamente usando python

Question

Sto provando a raschiare un sito web usando python e una bella zuppa. Ho riscontrato che in alcuni siti i collegamenti dell'immagine, sebbene visualizzati sul browser, non possono essere visualizzati nel codice sorgente. Tuttavia, utilizzando Chrome Inspect o Fiddler, possiamo vedere i codici corrispondenti. Quello che vedo nel codice sorgente è:

<div id="cntnt"></div> 

Ma su Chrome Ispezionare, riesco a vedere un sacco di codice CSS HTML \ generato all'interno di questa classe div. C'è un modo per caricare il contenuto generato anche all'interno di python? Sto usando il normale urllib in python e sono in grado di ottenere il sorgente ma senza la parte generata.

Non sono uno sviluppatore web quindi non sono in grado di esprimere il comportamento in termini migliori. Non esitate a chiarire se la mia domanda sembra vaga!

Answer 1

hai bisogno del Javascript Engine per analizzare ed eseguire codice JavaScript all'interno della pagina. Ci sono un sacco di browser senza testa che può aiutare a

http://code.google.com/p/spynner/

http://phantomjs.org/

http://zombie.labnotes.org/

http://github.com/ryanpetrello/python-zombie

http://jeanphix.me/Ghost.py/

http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

Answer 2

il contenuto del sito può essere generato dopo il carico tramite JavaScript, Al fine di ottenere lo script generato tramite python si riferiscono a this answer