Estrazione XPath lxml per la tabella HTML

Ho un documento HTML simile al seguente:Estrazione XPath lxml per la tabella HTML

<html xmlns="http://www.w3.org/1999/xhtml" xmlns="http://www.w3.org/1999/xhtml"> 
    <div id="Symbols" class="cb"> 
    <table class="quotes"> 
    <tr><th>Code</th><th>Name</th> 
     <th style="text-align:right;">High</th> 
     <th style="text-align:right;">Low</th> 
    </tr> 
    <tr class="ro" onclick="location.href='/xyz.com/A.htm';" style="color:red;"> 
     <td><a href="/xyz.com/A.htm" title="Display,A">A</a></td> 
     <td>A Inc.</td> 
     <td align="right">45.44</td> 
     <td align="right">44.26</td> 
    <tr class="re" onclick="location.href='/xyz.com/B.htm';" style="color:red;"> 
     <td><a href="/xyz.com/B.htm" title="Display,B">B</a></td> 
     <td>B Inc.</td> 
     <td align="right">18.29</td> 
     <td align="right">17.92</td> 
</div></html>

ho bisogno di estrarre code/name/high/low informazioni dalla tabella.

ho usato seguente codice da uno degli esempi simili a Pila sul flusso:

############################# 
import urllib2 
from lxml import html, etree 

webpg = urllib2.urlopen(http://www.eoddata.com/stocklist/NYSE/A.htm).read() 
table = html.fromstring(webpg) 

for row in table.xpath('//table[@class="quotes"]/tbody/tr'): 
    for column in row.xpath('./th[position()>0]/text() | ./td[position()=1]/a/text() | ./td[position()>1]/text()'): 
     print column.strip(), 
    print 

#############################

sto ottenendo in uscita nulla. Devo cambiare il primo ciclo xpath a table.xpath('//tr') da table.xpath('//table[@class="quotes"]/tbody/tr')

Non capisco perché il xpath('//table[@class="quotes"]/tbody/tr') non funzioni.

fonte

2011-04-07 mkt2012

ho trovato il mio problema. In qualche modo il tag è stato rimosso. Da Firebug lo si visualizza subito dopo

e prima del tag . – mkt2012

Sì, questa è una ** FAQ: i browser aggiungono elementi (X) HTML obbligatori (come 'head' e' tbody') al DOM. ** A proposito, questo è esattamente ciò che @samplebias '[answer] (http: // stackoverflow.com/questions/5586296/problem-with-lxml-xpath-for-html-table-extracting/5586627#5586627) dire. –

possibile duplicato di [problema XPath lxml XPath] (http://stackoverflow.com/questions/5333236/python-lxml-xpath-problem) –

risposta

Probabilmente stai guardando l'HTML in Firebug, corretto? Il browser inserirà il tag implicito <tbody> quando non è presente nel documento. La libreria lxml elaborerà solo i tag presenti nella stringa HTML non elaborata.

Omettere il livello tbody in XPath. Ad esempio, questo funziona:

tree = lxml.html.fromstring(raw_html) 
tree.xpath('//table[@class="quotes"]/tr') 
[<Element tr at 1014206d0>, <Element tr at 101420738>, <Element tr at 1014207a0>]

fonte

2011-04-07 19:38:30 samplebias

Ho sperimentato questo anche con Chrome. Stava usando la funzione 'Copia XPath' nel menu di scelta rapida 'Ispeziona'. Un po 'stupido. – ficuscr

Conosci altre "regole che cambiano il percorso" che possono verificarsi in FF/Chrome? Sarebbe interessante compilarli. – lajarre

Problemi correlati