Analisi HTML con BeautifulSoup 4 e Python

Question

Sto cercando di analizzare l'elenco dei risultati di http://mobile.de.

Prima l'ho provato con la classe HTMLParser, ma ho ricevuto un errore: HTMLParser.HTMLParseError: EOF in middle of construct.

Così l'ho provato con BeautifulSoup 4, che è meglio per i siti Web non validi, ma il <div> che sto cercando non è accessibile, e non posso dire se è colpa mia o del sito web.

from bs4 import BeautifulSoup 
    import urllib 
    import socket 

    searchurl = "http://suchen.mobile.de/auto/search.html?scopeId=C&isSearchRequest=true&sortOption.sortBy=price.consumerGrossEuro" 
    f = urllib.urlopen(searchurl) 
    html = f.read() 
    soup = BeautifulSoup(html) 

    for link in soup.find_all("div","listEntry "): 
     print link 

listEntry è la <div> con il risultato delle vetture. Ma sembra che non stia analizzando <form id="parkAndCompareVehicle" name="parkAndCompareVehicle" action="">. Non riesco a trovare la forma nell'oggetto zuppa.

Dov'è l'errore?

Answer 1

Dovrebbe essere qualcosa di simile:

for link in soup.findAll('div', {'class': 'listEntry '}): 
    print link 

attributi sono specificati in un dizionario - findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

==========

upd. Spiacente, sembra che in bs4 si possa fare anche in questo modo.

Per quanto riguarda l'errore, il modulo che stai cercando non è nei risultati perché racchiude listEntries per quanto posso vedere.

Cosa c'è di sbagliato in questo:

form = soup.find('form', id='parkAndCompareVehicle') 
print len(form.find_all('div', 'listEntry '))