Come lavorare con i contratti di scrapy?

Question

Contratti di scrapbook Problema

Ho iniziato a lavorare sulla struttura squamosa. Implementato anche alcuni spider per l'estrazione , ma non sono in grado di scrivere un caso di test unitario per lo spider in quanto la documentazione del pacchetto fornita dallo scrapy non ha una procedura corretta per scrivere i casi di test . Per favore aiutami con questa cosa.

Answer 1

Sì, Spiders Contracts è lungi dall'essere chiaro e dettagliato.

Non sono un esperto nella scrittura di contratti spider (in realtà li ho scritti solo una volta mentre lavoravo su web-scraping tutorial allo newcoder.io). Ma ogni volta che dovevo scrivere dei test per gli spider Scrapy, ho preferito seguire l'approccio suggested here - creare una risposta falsa da un file html locale. È discutibile se questa è ancora una procedura di test unitario, ma questo ti dà una maggiore flessibilità e robustezza.

Si noti che è ancora possibile scrivere contratti, ma si sentirà rapidamente la necessità di estenderli e di scrivere contratti personalizzati. Che è abbastanza ok.

link pertinenti:

• Scrapy Unit Testing
• Scrapy Contracts Evolution