è Scrapy single-threaded o multi-threaded?

Question

Ci sono poche impostazioni di concorrenza in Scrapy, come CONCURRENT_REQUESTS. Significa, che Scrapy crawler è multi-threaded? Quindi, se corro scrapy crawl my_crawler letteralmente sparerà più richieste simultanee in parallelo? Mi sto chiedendo perché, ho letto che Scrapy è single-threaded.

Answer 1

Scrapy è a thread singolo, tranne la shell interattiva e alcuni test, vedere source.

'costruito in cima Twisted, che è a thread singolo troppo, e fa uso delle proprie capacità concorrenza asincrone, come twisted.internet.interfaces.IReactorThreads.callFromThread, vedi source.

Answer 2

Scrapy fa la maggior parte del lavoro in modo sincrono. Tuttavia, la gestione delle richieste viene eseguita in modo asincrono.

Suggerisco questa pagina se non l'hai già visto.

http://doc.scrapy.org/en/latest/topics/architecture.html

edit: Mi rendo conto ora la questione era di circa threading e non necessariamente se è asincrona oppure no. Quel collegamento sarebbe comunque una buona lettura :)

riguardo alla tua domanda su CONCURRENT_REQUESTS. Questa impostazione modifica il numero di richieste che il doppino si differenzierà in una sola volta. Una volta che molte richieste sono state avviate, aspetterà che alcune di esse finiscano prima di iniziare di più.

Answer 3

Scrapy è un framework a thread singolo, non è possibile utilizzare più thread all'interno di uno spider allo stesso tempo. Tuttavia, possiamo creare più spider e piplines contemporaneamente per rendere il processo simultaneo. Scrapy non supporta multi-threading perché è costruito su Twisted, che è un Asynchronous http protocol framework.