scrapy abilitare tutti i domini

Question

Ho visto this post per eseguire la scansione di qualsiasi sito senza permetterne la limitazione dei domini.

C'è un modo migliore di farlo, come l'utilizzo di un'espressione regolare in variabile domini autorizzati, come-

allowed_domains = ["*"] 

spero che ci sia qualche altro modo di hacking in quadro Scrapy per fare questo.

Answer 1

Non impostare affatto permesso_dominio.

Guardate la funzione get_host_regex() in questo file Scrapy:

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py

Answer 2

si dovrebbe diactivate middlware fuori sede, che è una costruito nel middleware ragno in Scrapy. per ulteriori informazioni http://doc.scrapy.org/en/latest/topics/spider-middleware.html