Python Scrapy: popola start_urls da mysql

Question

Sto tentando di popolare start_url con un SELECT da una tabella MYSQL utilizzando spider.py. Quando eseguo "scrapy runpider spider.py" non ottengo output, solo che è finito senza errori.

Ho testato la query SELECT in uno script python e start_url viene popolato con gli accessi dalla tabella MYSQL.

spider.py

from scrapy.spider import BaseSpider 
from scrapy.selector import Selector 
import MySQLdb 


class ProductsSpider(BaseSpider): 
    name = "Products" 
    allowed_domains = ["test.com"] 
    start_urls = [] 

    def parse(self, response): 
     print self.start_urls 

    def populate_start_urls(self, url): 
     conn = MySQLdb.connect(
       user='user', 
       passwd='password', 
       db='scrapy', 
       host='localhost', 
       charset="utf8", 
       use_unicode=True 
       ) 
     cursor = conn.cursor() 
     cursor.execute(
      'SELECT url FROM links;' 
      ) 
    rows = cursor.fetchall() 

    for row in rows: 
     start_urls.append(row[0]) 
    conn.close() 

Answer 1

Un approccio migliore è quello di ignorare il metodo start_requests.

Questo può interrogare il database, in modo simile a populate_start_urls e restituire una sequenza di oggetti Request.

Si avrebbe solo bisogno di rinominare il metodo populate_start_urls-start_requests e modificare le seguenti righe:

for row in rows: 
    yield self.make_requests_from_url(row[0]) 

Answer 2

Scrivi il popolamento nella __init__:

def __init__(self): 
    super(ProductsSpider,self).__init__() 
    self.start_urls = get_start_urls() 

Supponendo get_start_urls() rendimenti delle URL.