Desidero creare un crawler che preleva l'URL di una pagina Web e restituisce il risultato a una pagina Web. In questo momento comincio a scricchiolare dal terminale e memorizzo la risposta in un file. Come posso avviare il crawler quando qualche input è pubblicato su Flask, elaborare e restituire una risposta?Inizio scrapy dal percorso Flask
5
A
risposta
4
È necessario creare un CrawlerProcess all'interno dell'applicazione Flask ed eseguire la ricerca per indicizzazione a livello di codice. Vedi lo docs.
import scrapy
from scrapy.crawler import CrawlerProcess
class MySpider(scrapy.Spider):
# Your spider definition
...
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
process.crawl(MySpider)
process.start() # The script will block here until the crawl is finished
Prima di passare con il vostro progetto vi consiglio di guardare in una coda compito Python (come rq). Ciò ti consentirà di eseguire Scrapy crawl in background e l'applicazione Flask non si bloccherà mentre sono in esecuzione gli scrap.
+0
L'ho usato sotto scrapy. Vi preghiamo di fornire qualche frammento di codice, che è in esecuzione spider sotto l'applicazione del pallone ???? – Vasim
Problemi correlati
- 1. Android inizio attività dal servizio
- 2. Python - Flask Percorso predefinito possibile?
- 3. Text.PrettyPrint: inizio del rientro dal margine sinistro
- 4. modello di risparmio Django dal progetto Scrapy
- 5. Scrapy dati Python con Scrapy
- 6. Scrittura di un CSV dal framework Flask
- 7. Makefile - rimuovere ../ dal percorso
- 8. Python - Estrai percorso cartella dal percorso file
- 9. Scrapy Shell e Scrapy Splash
- 10. Scrapy ha letto l'elenco di URL dal file per raschiare?
- 11. Utilizzando middleware per evitare Scrapy dal doppio visitare siti web
- 12. .Net - Rimuovi punti dal percorso
- 13. Ottieni Uri dal percorso reale
- 14. a2ensite dal percorso di script
- 15. nome file estratto dal percorso
- 16. Rimuovi percorso dal nome file
- 17. Ottieni l'immagine dal percorso relativo
- 18. URL assoluto dal percorso relativo
- 19. Passing list come argomenti in Scrapy
- 20. Python & Scrapy: Problema con la versione Scrapy
- 21. Più di un percorso statico nell'istanza di Flask locale
- 22. Scrapy HtmlXPathSelector
- 23. Ottenere il percorso relativo dal percorso assoluto in PHP
- 24. Ruby, ottenendo percorso dal percorso e nome del file
- 25. start_urls dinamico in scrapy
- 26. Flask:. Flusso di jQuery/$ post() dal generatore con resa
- 27. Python Flask con sedano fuori dal contesto applicativo
- 28. Flask SocketIO inviare un messaggio dal server al stanza
- 29. Accesso ai valori dal mixin del tipo dipendente dal percorso
- 30. Tipo di ritorno dipendente dal percorso Scala dal parametro
Siamo spiacenti, l'ultima riga è un po 'sfocata. Cosa stai facendo con Flask? Quale processo? E restituire la risposta a dove? –
Sto utilizzando FLASK per esporre gli endpoint, in modo che da un'app Web qualcuno possa pubblicare un input, ovvero il link della pagina web da rimuovere. Quindi, voglio avviare lo spider e passare quell'input e restituire la risposta del crawler all'app web. – Ashish
Ho appena risposto a una domanda simile qui: https://stackoverflow.com/questions/36384286/how-to-integrate-flask-scrapy –