funziona solo nel thread principale

Question

sono nuovo al django. Sto cercando di far passare il mio ragno sporco attraverso la vista di Django. Il mio codice scrapy funziona perfettamente quando eseguo il prompt dei comandi. ma quando provo a eseguirlo su django fallisce. Il messaggio di errore: il segnale funziona solo nella discussione principale.

mio codice nella visualizzazione Django (Il seguente)

from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.crawler import CrawlerProcess 
from scrapy import log, signals 
from Working.spiders.workSpider import WorkSpider 
from scrapy.settings import Settings 
from scrapy.utils.project import get_project_settings 

spider = WorkSpider(domain='scrapinghub.com') 
crawler = CrawlerProcess(Settings()) 
crawler.start() 
crawler.signals.connect(reactor.stop, signal=signals.spider_closed) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
reactor.run() 

Si prega di aiutarmi a risolvere questo. grazie

Answer 1

l'errore in pratica dice che non ci si trova in una discussione principale, quindi il segnale non viene gestito.

passaggio da CrawlerProcess al CrawlerRunner risolto il problema per me (credo in CrawlerRunner siete nel thread principale) http://doc.scrapy.org/en/latest/topics/api.html#scrapy.crawler.CrawlerRunner

speranza che questo ti aiuta