Rende JavaScript e HTML in (qualsiasi) programma Java (accesso alla struttura del DOM)?

Question

So che questo tipo di domanda deve essere stato chiesto qui prima, ma con la ricerca non ho trovato una soluzione:

La mia domanda è: Quali sono le migliori librerie Java a "scaricare completamente qualsiasi wepage e rendere il costruito in JavaScript (s) e quindi accedere alla pagina Web renderizzata (che è il DOM-Tree!) in modo programmatico e ottenere l'albero DOM come "HTML-Source".

(Qualcosa di simile a ciò che fa firebug alla fine, rende la pagina e Ho accesso alla struttura ad albero DOM completamente renderizzata, come se la pagina fosse simile al browser! Al contrario, se faccio clic su "mostra sorgente", ottengo solo il codice sorgente JavaScript, che non è quello che voglio. pagina resa ...)

(con il rendering intendo solo rendere l'albero DOM non una resa visiva ...)

Questo non deve essere una singola libreria, è ok per avere diverse librerie che possono realizzare questo insieme (uno molto probabilmente la libreria JavaScript dovrà anche avere un qualche tipo di downloader per rendere completamente qualsiasi JS asincrono ...

Sfondo: Nel " bei vecchi tempi "HttpClient (Apache Library) era tutto il necessario per costruire il proprio crawler molto semplice. (Un sacco di cralwers come Nutch o Heretrix sono ancora costruiti attorno a questo nucleo principale, principalmente incentrato sull'analisi HTML standard, quindi non posso imparare da loro) Il mio problema è che ho bisogno di sottoporre a scansione alcuni siti Web che si basano fortemente su JavaScript e che non riesco ad analizzare con HttpClient poiché ho assolutamente bisogno di eseguire i JavaScripts prima ...

Grazie mille !! Tim

Answer 1

MozSwing potrebbe aiutare http://confluence.concord.org/display/MZSW/Home.

Answer 2

Puoi provare JExplorer. Per ulteriori informazioni vedere http://www.teamdev.com/downloads/jexplorer/docs/JExplorer-PGuide.html

Si può anche provare Cobra, vedi http://lobobrowser.org/cobra.jsp

Answer 3

Questo è un po 'fuori dagli schemi, ma se avete intenzione di correre il codice in un server in cui si ha il controllo completo sopra il vostro ambiente, potrebbe funzionare ...

Installare Firefox (o XulRunner, se si desidera mantenere le cose leggere) sul proprio computer.

Utilizzando il sistema plugin di Firefox, scrivere un piccolo plug-in che carica un determinato URL, attende alcuni secondi, copia il DOM della pagina in una stringa.

da questo plug-in, utilizzare l'API Java LiveConnect (vedere http://jdk6.java.net/plugin2/liveconnect/ e https://developer.mozilla.org/en/LiveConnect) per inviare tale stringa a una funzione statica pubblica in qualche codice Java incorporato, che può eseguire l'elaborazione richiesta o generarne altre codice complicato.

Vantaggi: Si sta utilizzando un browser a cui la maggior parte degli sviluppatori di applicazioni è destinato, pertanto il comportamento osservato dovrebbe essere comparabile. Puoi anche aggiornare il browser lungo il normale percorso di aggiornamento, così la tua biblioteca non diventerà obsoleta al cambiare degli standard HTML.

Svantaggi: È necessario disporre dell'autorizzazione per avviare un'applicazione non headless sul server. Avrai anche la complessità della comunicazione tra processi di cui preoccuparti.

Ho usato l'API di plugin per chiamare Java prima ed è abbastanza fattibile. Se desideri un codice di esempio, dovresti dare un'occhiata al plug-in XQuery: carica il codice XQuery dal DOM, lo passa alla libreria Java Saxon per l'elaborazione, quindi reinserisce il risultato nel browser. Ci sono alcuni dettagli su di esso qui:

https://developer.mozilla.org/en/XQuery

Answer 4

La biblioteca Selenium viene normalmente utilizzato per il test, ma ti dà il controllo remoto della maggior parte dei browser standard (IE, Firefox, ecc), così come un senza testa, del browser modalità libera (usando HtmlUnit). Poiché è destinato alla verifica dell'interfaccia utente tramite scraping della pagina, potrebbe essere utile ai fini dell'utente.

Nella mia esperienza a volte può essere difficile con JavaScript molto lento, ma con un uso attento dei comandi di "attesa" è possibile ottenere risultati abbastanza affidabili.

Ha anche il vantaggio che si può effettivamente guidare la pagina, non solo raschiare. Ciò significa che se si eseguono alcune azioni sulla pagina prima di ottenere i dati desiderati (fare clic sul pulsante di ricerca, fare clic su Avanti, ora scrape), quindi è possibile codificarlo nel processo.

Non so se sarete in grado di ottenere il DOM completo in una forma navigabile da Selenium, ma è fornire il recupero XPath per le varie parti della pagina, che è ciò che normalmente bisogno di un'applicazione raschiante.

Answer 5

È possibile utilizzare Java, Groovy con o senza Grails. Quindi utilizzare Webdriver, Selenium, Spock e Geb questi sono a scopo di test, ma le librerie sono utili per il tuo caso. È possibile implementare un crawler che non aprirà una nuova finestra ma solo un runtime di questi browser.

• Selenio: http://code.google.com/p/selenium/
• WebDriver: http://seleniumhq.org/projects/webdriver/
• Spock: http://code.google.com/p/spock/
• Geb: http://www.gebish.org/manual/current/testing.html

Answer 6

Non ho provato questo progetto, ma ho visto diverse implementazioni per nodo. js che includono la manipolazione di javascript dom.

https://github.com/tmpvar/jsdom

Answer 7

È possibile utilizzare JavaFX 2 WebEngine. Scarica JavaFX SDK (potresti già averlo se hai installato JDK7u2 o successivo) e prova il codice qui sotto.

Stampa in html con javascript elaborato. Puoi anche decommentare le righe nel mezzo per vedere anche il rendering.

public class WebLauncher extends Application { 

    @Override 
    public void start(Stage stage) { 
     final WebView webView = new WebView(); 
     final WebEngine webEngine = webView.getEngine(); 
     webEngine.load("http://stackoverflow.com"); 
     //stage.setScene(new Scene(webView)); 
     //stage.show(); 

     webEngine.getLoadWorker().workDoneProperty().addListener(new ChangeListener<Number>() { 
      @Override 
      public void changed(ObservableValue<? extends Number> observable, Number oldValue, Number newValue) { 
       if (newValue.intValue() == 100 /*percents*/) { 
        try { 
         org.w3c.dom.Document doc = webEngine.getDocument(); 
         new XMLSerializer(System.out, new OutputFormat(doc, "UTF-8", true)).serialize(doc); 
        } catch (IOException ex) { 
         ex.printStackTrace(); 
        } 
       } 
      } 
     }); 

    } 

    public static void main(String[] args) { 
     launch(); 
    } 

}