Riprodurre uno spider Scrapy sui dati memorizzati

Question

Ho iniziato a utilizzare Scrapy per analizzare alcuni siti Web. Se successivamente aggiungo un nuovo campo al mio modello o cambio le mie funzioni di analisi, mi piacerebbe poter "riprodurre" i dati grezzi scaricati offline per raschiare di nuovo. Sembra Scrapy ha avuto la possibilità di memorizzare i dati grezzi in un file di replay a un certo punto:

http://dev.scrapy.org/browser/scrapy/trunk/scrapy/command/commands/replay.py?rev=168

Ma questa funzionalità sembra essere stato rimosso nella versione corrente di Scrapy. C'è un altro modo per raggiungere questo obiettivo?

Answer 1

Se si esegue crawl --record=[cache.file] [scraper], sarà quindi possibile utilizzare replay [scraper].

In alternativa, è possibile memorizzare nella cache tutte le risposte con l'HttpCacheMiddleware includendolo nel DOWNLOADER_MIDDLEWARES:

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware': 300, 
} 

Se fate questo, ogni volta che si esegue il raschietto, controllerà prima il file system.

Answer 2

È possibile attivare HTTPCACHE_ENABLED come detto http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html?highlight=FilesystemCacheStorage#httpcache-enabled

per mettere in cache tutte le richieste HTTP e la risposta di implementare curriculum strisciando.

o provare Jobs per mettere in pausa e riprendere la striscia http://scrapy.readthedocs.org/en/latest/topics/jobs.html