Questo è stato contrassegnato fuori tema ma lasciato su Stack Overflow nel caso in cui qualcun altro abbia la stessa domanda.È possibile acquisire un sito Web di Angular JS
Questo potrebbe essere fuori portata ma ero curioso di sapere se si poteva raschiare un sito Web di Angular JS?
Se riesci, qualcuno può indicarmi delle buone risorse? Ho fatto qualche R & D ma non ho trovato alcuna risorsa utile oltre a Phantom JS
La risposta più semplice a questa domanda è sì, è possibile, ma non si usano i bot tradizionali che guardano solo al contenuto testuale che avrebbero entrare nel corpo della risposta HTTP e non interpretare realmente ciò che un tipico browser che esegue JavaScript vedrebbe. Google lo fa (a partire da maggio 2014): http://googlewebmastercentral.blogspot.com/2014/05/understanding-web-pages-better.html
Se si dispone di un bot che analizza javascript e consente le normali richieste http XHR di uscire e ottenere i dati effettivi che popola una SPA, si può raschiare un sito angolare .
anche informazioni utili: http://thiagomarzagao.com/2013/11/17/webscraping-with-selenium-part-5/ – wesww
Non sono sicuro se hai trovato una soluzione per farlo, ma la risposta più semplice è usare 'phantomjs', un browser senza testa che ti permette di creare script e recuperare i dati usando selettori CSS e fare tutto quello che vuoi con esso. http://phantomjs.org Fammi sapere se hai bisogno di ulteriore aiuto. P.S Non sono sicuro di come sia stato votato fuori tema. –