Come raccogliere le statistiche all'interno della callback di ragno graffiante?

Question

Come posso raccogliere le statistiche da un callback spider?

Esempio

class MySpider(Spider): 
    name = "myspider" 
    start_urls = ["http://example.com"] 

def parse(self, response): 
    stats.set_value('foo', 'bar') 

Non

sicuro di cosa import o come fare stats disponibili in generale.

Answer 1

Controlla il stats page from the scrapy documentation. La documentazione afferma che Stats Collector, ma potrebbe essere necessario aggiungere al codice spider per poter fare cose con esso.

MODIFICA: A rischio di far saltare la mia tromba, se tu fossi dopo un esempio concreto, ho postato un answer about how to collect failed urls.

EDIT2: dopo molte ricerche su google, apparentemente non sono necessarie importazioni. Basta usare self.crawler.stats.set_value()!

Answer 2

Con scrapy 0.24 - stats lo uso dal modo seguente:

class TopSearchesSpider(CrawlSpider): 
    name = "topSearches" 
    allowed_domains = ["...domain..."] 

    start_urls = (
     'http://...domain...', 
    ) 

    def __init__(self, stats): 
     super(TopSearchesSpider, self).__init__() 
     self.stats = stats 

    @classmethod 
    def from_crawler(cls, crawler): 
     return cls(crawler.stats) 

    def parse_start_url(self, response): 
     sel = Selector(response); 
     url = response.url; 

     self.stats.inc_value('pages_crawled') 
     ... 

Super metodo è quello di chiamare il costruttore CrawlSpider per eseguire il proprio codice.

Answer 3

inserire all'interno del codice categoria ragno

def my_parse(self, response): 
    print self.crawler.stats.get_stats()