Salvare e visualizzare una pagina Web con PhantomJS e node.js

Question

Sto cercando un esempio di richiesta di una pagina Web, in attesa del rendering di JavaScript (JavaScript modifica il DOM) e quindi dell'HTML della pagina.

Questo dovrebbe essere un semplice esempio con un caso d'uso ovvio per PhantomJS. Non riesco a trovare un esempio decente, la documentazione sembra essere interamente basata sull'uso della riga di comando.

Answer 1

Dai vostri commenti, direi hai 2 opzioni

1. cercare di trovare un modulo nodo phantomjs - https://github.com/sgentle/phantomjs-node
2. phantomjs eseguito come un processo figlio all'interno del nodo - http://nodejs.org/api/child_process.html

Modifica:

Sembra che il processo figlio sia suggerito da phantomjs come modo di interagire con il nodo, vedere faq - http://code.google.com/p/phantomjs/wiki/FAQ

Edit:

sceneggiatura

Esempio Phantomjs per ottenere le pagine di markup HTML:

var page = require('webpage').create(); 
page.open('http://www.google.com', function (status) { 
    if (status !== 'success') { 
     console.log('Unable to access network'); 
    } else { 
     var p = page.evaluate(function() { 
      return document.getElementsByTagName('html')[0].innerHTML 
     }); 
     console.log(p); 
    } 
    phantom.exit(); 
}); 

Answer 2

Ho usato due modi diversi in passato, tra cui il metodo page.evaluate(), che interroga il DOM che Declan ha menzionato. L'altro modo in cui ho passato informazioni dalla pagina web è quello di sputare a console.log() da lì, e l'uso di script phantomjs:

page.onConsoleMessage = function (msg, line, source) { 
    console.log('console [' +source +':' +line +']> ' +msg); 
} 

Potrei anche intrappolare il msg variabile nel onConsoleMessage e cercare alcuni dati incapsulati. Dipende da come si desidera utilizzare l'output.

Poi nello script Nodejs, si dovrà eseguire la scansione del output dello script Phantomjs:

var yourfunc = function(...params...) { 
    var phantom = spawn('phantomjs', [...args]); 
    phantom.stdout.setEncoding('utf8'); 
    phantom.stdout.on('data', function(data) { 
    //parse or echo data 
    var str_phantom_output = data.toString(); 
    // The above will get triggered one or more times, so you'll need to 
    // add code to parse for whatever info you're expecting from the browser 
    }); 
    phantom.stderr.on('data', function(data) { 
    // do something with error data 
    }); 
    phantom.on('exit', function(code) { 
    if (code !== 0) { 
     // console.log('phantomjs exited with code ' +code); 
    } else { 
     // clean exit: do something else such as a passed-in callback 
    } 
    }); 
} 

Speranza che aiuta un po '.

Answer 3

tardo aggiornamento nel caso qualcuno inciampa su questa domanda:

Un progetto su GitHub sviluppato da un mio collega mira esattamente a voi aiutare farlo: https://github.com/vmeurisse/phantomCrawl.

Ancora un po 'giovane, sicuramente manca della documentazione, ma l'esempio fornito dovrebbe aiutare a fare il crawling di base.

Answer 4

Perché non usare solo questo?

var page = require('webpage').create(); 
page.open("http://example.com", function (status) 
{ 
    if (status !== 'success') 
    { 
     console.log('FAIL to load the address');    
    } 
    else 
    { 
     console.log('Success in fetching the page'); 
     console.log(page.content); 
    } 
    phantom.exit(); 
}); 

Answer 5

Ecco una vecchia versione che uso in esecuzione del nodo, esprimere e phantomjs che salva la pagina come file .png. Potresti modificarlo abbastanza velocemente per ottenere l'html.

https://github.com/wehrhaus/sitescrape.git

Answer 6

a V2 della phantomjs-node è abbastanza facile da stampare il codice HTML dopo che è stato elaborato.

var phantom = require('phantom'); 

phantom.create().then(function(ph) { 
    ph.createPage().then(function(page) { 
    page.open('https://stackoverflow.com/').then(function(status) { 
     console.log(status); 
     page.property('content').then(function(content) { 
     console.log(content); 
     page.close(); 
     ph.exit(); 
     }); 
    }); 
    }); 
}); 

Questo mostrerà l'output come sarebbe stato reso con il browser.