Qual è la differenza tra il middleware di Scrapy's spider e il middleware del downloader?

Question

Entrambi i middleware possono elaborare richiesta e risposta. Ma qual è la differenza?

Answer 1

Mentre hanno interfacce quasi identici, hanno scopi differenti: middleware

• Downloader modificano richieste e risposte o generano le richieste in risposta a risposte. Non interagiscono direttamente con i ragni. Alcuni esempi sono i middleware che implementano cookie, cache, proxy, reindirizzamenti, impostazione di intestazioni utente-agente, ecc. Aggiungono solo funzionalità al sistema di downloader.

• Il middleware Spider modifica le cose che entrano ed escono da spider, come richieste, articoli, eccezioni, e start_requests. Condividono alcune funzionalità di base con i middleware del downloader, ma non possono generare richieste in risposta alle risposte. Si frappongono tra gli spider e il downloader. Un esempio è il filtraggio delle risposte con codici di stato HTTP errati.

Alcuni middleware in grado di funzionare sia come middleware downloader o un middleware ragno, ma sono spesso banali e saranno costretti in una categoria o l'altra volta si aggiunge la funzionalità più complessa.