2015-06-23 14 views
6

Vorrei passare più argomenti definiti dall'utente al mio Scrapy spyder, così ho provato a seguire questo post: How to pass a user defined argument in scrapy spiderCome passare più argomenti a Scrapy spider (l'errore di esecuzione di 'scrapy crawl' con più di uno spider non è più supportato)?

Tuttavia, quando seguo il consiglio non ottengo un errore:

[email protected] scrapy crawl dmoz -a address= 40-18 48th st -a borough=4 
Usage 
===== 
    scrapy crawl [options] <spider> 

crawl: error: running 'scrapy crawl' with more than one spider is no longer supported 

ho provato anche con varie permutazioni di virgolette:

[email protected] scrapy crawl dmoz -a address= "40-18 48th st" -a borough="4" 
Usage 
===== 
    scrapy crawl [options] <spider> 
crawl: error: running 'scrapy crawl' with more than one spider is no longer supported 

Qual è il modo corretto per passare parametri al ragno Scrapy? Vorrei passare un nome utente e una password per il processo di accesso/raschiamento dello spider. Grazie per eventuali suggerimenti.

risposta

9

No scrapy problema, credo. È il modo in cui il tuo shell interpreta l'input, suddividendo i token negli spazi. Quindi, non devi averne nessuno tra la chiave e il suo valore. Prova con:

scrapy crawl dmoz -a address="40-18 48th st" -a borough="4" 
+0

Ho provato anche quell'opzione. Sto usando Ubuntu nel caso che importi, ma ho provato ogni permutazione delle virgolette sull'input e sui nomi degli input. A meno che non mi manchi qualcosa, quello che hai suggerito è esattamente ciò che ho alla fine della mia domanda come esempio di ciò che ho già provato? – sunny

+0

@sunny: Sicuro che hai provato la mia soluzione e non hai funzionato? È diverso. L'opzione '-a' accetta un argomento' chiave = valore', ma la shell elabora l'input prima di 'scrapy', e lo spazio dopo il segno' = 'lo rende in grado di generare due diversi token, che' scrapy' interpreta come un altro ragno. – Birei

+0

Ho appena copiato e incollato la tua linea e mi ha dato esattamente lo stesso errore di quello che ho incollato sopra. – sunny

Problemi correlati