Come posso interrompere la scansione per scrapy e uscire quando si verifica la prima eccezione?

Question

Per motivi di sviluppo, desidero interrompere tutte le attività di scansione di scrapy non appena si verifica una prima eccezione (in uno spider o in una pipeline).

Qualche consiglio?

Answer 1

dipende esclusivamente dalla logica aziendale. ma questo funzionerà per voi

crawler.engine.close_spider(self, 'log message') 

Suggested Reading

Suggested Reading

e la soluzione peggiore è

import sys 

sys.exit("SHUT DOWN EVERYTHING!") 

Answer 2

In ragno, si può semplicemente gettare CloseSpider eccezione.

def parse_page(self, response): 
    if 'Bandwidth exceeded' in response.body: 
     raise CloseSpider('bandwidth_exceeded') 

Per altri (middleware, gasdotti, ecc), è possibile chiamare manualmente close_spider come Akhter menzionato.

Answer 3

Da 0,11, c'è CLOSESPIDER_ERRORCOUNT:

Un numero intero che specifica il numero massimo di errori di ricevere prima di chiudere il ragno. Se lo spider genera più di quel numero di errori, verrà chiuso con il motivo closespider_errorcount. Se zero (o non impostato), gli spider non saranno chiusi dal numero di errori.

Se è impostato su 1, lo spider verrà chiuso alla prima eccezione.