Possiedo uno script python per la ricerca sul Web che richiede ore per essere completato ed è impossibile eseguirlo nella sua interezza sul mio computer locale. C'è un modo conveniente per distribuirlo su un semplice web server? Lo script scarica fondamentalmente le pagine Web in file di testo. Come sarebbe meglio farlo? Grazie!Qual è il modo più semplice per eseguire gli script Python in un server cloud?
Dato che hai detto che le prestazioni sono un problema e stai facendo il web-scraping, la prima cosa da provare è un framework Scrapy: si tratta di un framework per il web-scraping molto veloce e facile da usare. Lo strumento scrapyd consente di distribuire la scansione: è possibile avere più servizi scrapyd in esecuzione su server diversi e suddividere il carico tra ciascuno di essi. Vedere:
C'è anche un servizio di Scrapy Cloud là fuori:
Scrapy nube colma il altamente efficiente sviluppo ambiente Scrapy con un robusto, fully- l'ambiente di produzione in primo piano a distribuisce ed esegue le scansioni. È come un Heroku per Scrapy, anche se altre saranno supportate nel prossimo futuro. Funziona su in cima alla piattaforma Scrapinghub, il che significa che il tuo progetto può scalare sulla domanda , se necessario.
Ci sono più posti in cui è possibile farlo. Basta google per "python in the cloud", ne troverai alcuni, ad esempio https://www.pythonanywhere.com/.
Inoltre, esistono anche numerosi IDE cloud che offrono in pratica una piccola VM gratuita in cui è possibile sviluppare il codice in un IDE basato sul Web ed eseguirlo anche nella VM, un esempio è http://www.c9.io.
PythonAnywhere dev dev'essere qui - grazie per la menzione! :-) Lasciatemi anche aggiungere che abbiamo un numero di clienti che ci usano per Scrapy. Questo modo di mantenere gli script in esecuzione è abbastanza popolare: https://www.pythonanywhere.com/wiki/LongRunningTasks –
In alternativa alle soluzioni già fornite, suggerirei Heroku. Non è possibile distribuire facilmente un sito Web, ma anche script per l'esecuzione dei robot.
L'account di base è gratuito ed è piuttosto flessibile.
This blog entry, this one e this video contengono esempi pratici di come farlo funzionare.
Forse stai chiedendo [questo] (https://www.pythonanywhere.com/). – Skynet