Come riprovare per il link 404 non trovato in scrapy?

Alcuni siti restituiscono temporaneamente l'errore 404. Ma ho incollato sul browser funziona. Come dire a scrapy di riprovare i link del codice di stato 404 per 5 volte.Come riprovare per il link 404 non trovato in scrapy?

fonte

2012-01-07 nizam.sp

Forse stai facendo troppe richieste utilizzando scrapy e siti solo returninig 404? – adt

Anche se provo 1 richiesta al secondo, a volte fallisce. C'è un modo per dire in scrapy di riprovare lo stato 404? –

Ci sono due impostazioni Scrapy relative a ciò che è necessario:

RETRY_HTTP_CODES: si dovrebbe sostituire il valore di default nel progetto per includere 404
RETRY_TIMES: basta impostare a 5

fonte

2012-01-07 12:03:45

Come riprovare per il link 404 non trovato in scrapy?

risposta

Problemi correlati