Scrapy ha letto l'elenco di URL dal file per raschiare?

Question

Ho appena installato scrapy e ho seguito il loro semplice dmoz tutorial che funziona. Ho appena cercato la gestione dei file di base per Python e ho cercato di convincere il crawler a leggere un elenco di URL da un file, ma ho ricevuto alcuni errori. Questo è probabilmente sbagliato ma ho dato un colpo. Qualcuno potrebbe mostrarmi un esempio di lettura di un elenco di URL in scrapy? Grazie in anticipo.

from scrapy.spider import BaseSpider 

class DmozSpider(BaseSpider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    f = open("urls.txt") 
    start_urls = f 

    def parse(self, response): 
     filename = response.url.split("/")[-2] 
     open(filename, 'wb').write(response.body) 

Answer 1

Eri molto vicino.

f = open("urls.txt") 
start_urls = [url.strip() for url in f.readlines()] 
f.close() 

... meglio ancora sarebbe quella di utilizzare il gestore contesto per garantire chiuso del file come previsto:

with open("urls.txt", "rt") as f: 
    start_urls = [url.strip() for url in f.readlines()] 

Answer 2

Se Dmoz aspetta solo nomi di file nella lista, è necessario chiamare striscia su ogni linea. Altrimenti si ottiene un '\ n' alla fine di ogni URL.

class DmozSpider(BaseSpider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [l.strip() for l in open('urls.txt').readlines()] 

esempio in Python 2,7

>>> open('urls.txt').readlines() 
['http://site.org\n', 'http://example.org\n', 'http://example.com/page\n'] 
>>> [l.strip() for l in open('urls.txt').readlines()] 
['http://site.org', 'http://example.org', 'http://example.com/page']