Estratto BeautifulSoup XPATH o CSS Percorso del nodo

Question

Desidero estrarre alcuni dati dall'HTML e quindi essere in grado di evidenziare elementi estratti sul lato client senza modificare l'html di origine. E XPath o CSS Path è perfetto per questo. È possibile estrarre XPATH o CSS Path direttamente da BeautifulSoup?
In questo momento, utilizzo la marcatura dell'elemento target e quindi lxml lib per estrarre xpath, il che è molto negativo per le prestazioni. So di BSXPath.py - non funziona con BS4. La soluzione con la riscrittura di tutto per utilizzare la lib di lxml nativa non è accettabile a causa della complessità.

import bs4 
import cStringIO 
import random 
from lxml import etree 


def get_xpath(soup, element): 
    _id = random.getrandbits(32) 
    for e in soup(): 
    if e == element: 
     e['data-xpath'] = _id 
     break 
    else: 
    raise LookupError('Cannot find {} in {}'.format(element, soup)) 
    content = unicode(soup) 
    doc = etree.parse(cStringIO.StringIO(content), etree.HTMLParser()) 
    element = doc.xpath('//*[@data-xpath="{}"]'.format(_id)) 
    assert len(element) == 1 
    element = element[0] 
    xpath = doc.getpath(element) 
    return xpath 

soup = bs4.BeautifulSoup('<div id=i>hello, <b id=i test=t>world!</b></div>') 
xpath = get_xpath(soup, soup.div.b) 
assert '//html/bodydiv/b' == xpath 

Answer 1

In realtà è abbastanza facile da estrarre semplice CSS/XPath. Questa è la stessa lib di lxml che ti dà.

def get_element(node): 
    # for XPATH we have to count only for nodes with same type! 
    length = len(list(node.previous_siblings)) + 1 
    if (length) > 1: 
    return '%s:nth-child(%s)' % (node.name, length) 
    else: 
    return node.name 

def get_css_path(node): 
    path = [get_element(node)] 
    for parent in node.parents: 
    if parent.name == 'body': 
     break 
    path.insert(0, get_element(parent)) 
    return ' > '.join(path) 

soup = bs4.BeautifulSoup('<div></div><div><strong><i>bla</i></strong></div>') 
assert get_css_path(soup.i) == 'div:nth-child(2) > strong > i' 

Answer 2

Ho paura che la biblioteca non sia ancora in grado di farlo. Si possono prendere in base al percorso css ... SORTA ... ma, è un po 'contorto, dove si sta nominare ogni elemento e classe, un esempio:

soup.find("htmlelement", class_="theclass") 

È anche possibile utilizzare id invece di classi o di entrambi se preferisci essere più specifico in ciò che afferri.

è possibile modificarlo per andare avanti lungo il percorso:

soup.find("htmlelement", class_="theclass").find("htmlelement2", class_="theclass2") 

così via e così via.

ci sono anche modi per navigare esso chiamando l'integrato "prossima" la funzione:

find_next("td", class_="main").find_next("td", class_="main").next.next