Rendering di una pagina html e salvataggio tramite riga di comando

Question

Vorrei caricare una pagina web e salvarla utilizzando la riga di comando (voglio ottenere un comportamento simile a quello che otteniamo per la pagina di salvataggio come per una pagina completa in firefox o chrome.)

Ho provato a utilizzare wget e httrack, mi hanno fornito i file html correttamente. Ma nel caso di un html malformato il browser lo corregge mentre esegue il rendering e usa save come lì otteniamo l'html corretto ma questo non accade in caso di wget o htttrack.

C'è uno strumento che dovrebbe rendere la pagina e salvare la pagina insieme a tutte le immagini e il flash e tutte le altre cose in locale.

Answer 1

Quando voglio salvare le pagine per l'utilizzo offline, utilizzo un plugin per Firefox chiamato "Scrapbook". Questo, ovviamente, non consente il tuo requisito della riga di comando. Ma se usi uno strumento come 'htmlunit' o qualcosa del genere, puoi guidare il browser Firefox per andare alla pagina che vuoi salvare.

Answer 2

C'è qualche sofisticato software disponibili, che fa esattamente questo: https://launchpad.net/shotfactory

Answer 3

Si potrebbe utilizzare curl o wget in combinazione con tidyhtml, cioè

curl http://stackoverflow.com > page.html 
    tidy page.html > page_clean.html 

Tidy dovrebbe essere in grado di convertire qualsiasi codice HTML valido a XTML valido.

Answer 4

Non sono riuscito a trovare nient'altro quindi alla fine ho aperto la pagina in firefox e ho fatto clic sul pulsante Salva come e salvandolo .. Scritto uno script per esso utilizzando firefox e xdotools per automatizzare l'intera operazione.

Grazie per tutto l'aiuto e le opinioni degli amici.

Answer 5

Ho sentito il bisogno di qualcosa di simile oggi (e sono andato al percorso xdotool). Puoi trovare la mia versione (uno script di bash riusabile) all'indirizzo: https://github.com/abiyani/automate-save-page-as