Il selenio è lento o il mio codice è sbagliato?

Question

Quindi sto provando ad accedere a Quora usando Python e poi raschiare qualcosa.

Sto usando Selenium per accedere al sito. Qui è il mio codice:

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 

driver = webdriver.Firefox() 
driver.get('http://www.quora.com/') 

username = driver.find_element_by_name('email') 
password = driver.find_element_by_name('password') 

username.send_keys('email') 
password.send_keys('password') 
password.send_keys(Keys.RETURN) 

driver.close() 

Ora le domande:

1. Ci sono voluti ~ 4 minuti per trovare e riempire il form di login, che dolorosamente lenti. C'è qualcosa che posso fare per accelerare il processo?

2. Al momento dell'accesso, come faccio a verificare che non vi siano errori? In altre parole, come posso controllare il codice di risposta?

3. Come faccio a salvare i cookie con selenio in modo da poter continuare a fare scraping una volta effettuato l'accesso?

4. Se non c'è modo di rendere il selenio più veloce, c'è qualche altra alternativa per l'accesso? (Quora non ha un'API)

Answer 1

1. Ci sono stato, il selenio è lento. Potrebbe non essere lento come 4 minuti per riempire un modulo. Ho quindi iniziato a utilizzare phantomjs, che è molto più veloce di Firefox, poiché non ha headless. Puoi semplicemente sostituire Firefox() con PhantomJS() nella linea del webdriver dopo aver installato gli ultimi phantomjs.

2. Per verificare di avere accesso, è possibile confermare per alcuni elementi che vengono visualizzati dopo il login.

3. Finché non si chiudano il driver, biscotti saranno disponibili per seguire i link

4. Puoi provare a utilizzare urllib e inviare direttamente al link di accesso. È possibile utilizzare cookiejar per salvare i cookie. Si può anche semplicemente salvare biscotto, dopo tutto, un cookie è semplicemente una stringa di intestazione http

Answer 2

partire firefox con disattivato JavaScript aiuterà:

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 

firefox_profile = webdriver.FirefoxProfile() 
firefox_profile.set_preference("browser.download.folderList",2) 
firefox_profile.set_preference("javascript.enabled", False) 

driver = webdriver.Firefox(firefox_profile=firefox_profile) 
driver.get('http://www.quora.com/') 

username = driver.find_element_by_name('email') 
password = driver.find_element_by_name('password') 

username.send_keys('email') 
password.send_keys('password') 
password.send_keys(Keys.RETURN) 

driver.close() 

Answer 3

È possibile allacciare la compilazione moduli utilizzando il proprio metodo setAttribute, qui è il codice per Java per esso

public void setAttribute(By locator, String attribute, String value) { 
    ((JavascriptExecutor) getDriver()).executeScript("arguments[0].setAttribute('" + attribute 
      + "',arguments[1]);", 
      getElement(locator), 
      value); 
} 

Answer 4

ho avuto un problema simile con chiamate find_elements_xxx molto lenti in Python utilizzando il selenio ChromeDriver. Alla fine ho rintracciato il problema a una chiamata driver.implicitly_wait() che ho fatto prima delle mie chiamate find_element_xxx(); quando l'ho estratto, le mie chiamate find_element_xxx() sono state eseguite rapidamente.

Ora, I so questi elementi erano presenti quando ho effettuato le chiamate find_elements_xxx(). Quindi non riesco a immaginare perché implicit_wait debba aver influito sulla velocità di quelle operazioni, ma è così.