2010-11-01 14 views
11

Ho scritto un semplice script per analizzare i log di chat XML utilizzando il modulo BeautifulSoup. Lo standard soup.prettify() funziona bene, eccetto che i log delle chat contengono molto materiale. È possibile vedere sia il codice di script e alcuni dei file di input XML con cui sto lavorando qui di seguito:Python BeautifulSoup XML Parsing

Codice

import sys 
from BeautifulSoup import BeautifulSoup as Soup 

def parseLog(file): 
    file = sys.argv[1] 
    handler = open(file).read() 
    soup = Soup(handler) 
    print soup.prettify() 

if __name__ == "__main__": 
    parseLog(sys.argv[1]) 

ingresso di test XML

<?xml version="1.0"?> 
<?xml-stylesheet type='text/xsl' href='MessageLog.xsl'?> 
<Log FirstSessionID="1" LastSessionID="2"><Message Date="10/31/2010" Time="3:43:48 PM"  DateTime="2010-10-31T20:43:48.937Z" SessionID="1"><From><User FriendlyName="Jon"/></From> <To><User FriendlyName="Bill"/></To><Text Style="font-family:Segoe UI; color:#000000; ">hey, what's up?</Text></Message> 
<Message Date="10/31/2010" Time="3:44:03 PM" DateTime="2010-10-15T20:44:03.421Z" SessionID="1"><From><User FriendlyName="Jon"/></From><To><User FriendlyName="Bill"/></To><Text Style="font-family:Segoe UI; color:#000000; ">Got your message</Text></Message> 
<Message Date="10/31/2010" Time="3:44:31 PM" DateTime="2010-10-15T20:44:31.390Z" SessionID="2"><From><User FriendlyName="Bill"/></From><To><User FriendlyName="Jon"/></To><Text Style="font-family:Segoe UI; color:#000000; ">oh, great</Text></Message> 
<Message Date="10/31/2010" Time="3:44:59 PM" DateTime="2010-10-15T20:44:59.281Z" SessionID="2"><From><User FriendlyName="Bill"/></From><To><User FriendlyName="Jon"/></To><Text Style="font-family:Segoe UI; color:#000000; ">hey, i gotta run</Text></Message> 

Sono volendo essere in grado di produrre questo in un formato come il seguente o almeno qualcosa che sia più leggibile del puro XML:

Jon: Ehi, come va? [10/31/10 @ 3: 43p]

Jon: ricevuto il tuo messaggio [10/31/10 @ 3: 44p]

Bill: oh, grande [10/31/10 @ 3 : 44p]

ecc. Ho sentito alcune cose decenti sul modulo PyParsing, forse è ora di dargli una possibilità.

+1

Perché non XSLT? Quello sarebbe il più facile. (In effetti: vedo che esiste una direttiva? Xml-stylesheet - che aspetto ha il foglio di stile predefinito?) –

+0

Non è sempre possibile avere il foglio di stile XSL disponibile, quindi la necessità di qualcosa di formattare il registro in qualcosa di un po 'più leggibile . Se posso usare lo stesso foglio di stile di quello che ho, potrebbe anche funzionare. –

risposta

24

BeautifulSoup rende davvero semplice ottenere attributi e valori in xml. Ho ottimizzato la tua funzione di esempio per utilizzare queste funzionalità.

import sys 
from BeautifulSoup import BeautifulSoup as Soup 

def parseLog(file): 
    file = sys.argv[1] 
    handler = open(file).read() 
    soup = Soup(handler) 
    for message in soup.findAll('message'): 
     msg_attrs = dict(message.attrs) 
     f_user = message.find('from').user 
     f_user_dict = dict(f_user.attrs) 
     print "%s: %s [%s @ %s]" % (f_user_dict[u'friendlyname'], 
            message.find('text').decodeContents(), 
            msg_attrs[u'date'], 
            msg_attrs[u'time']) 


if __name__ == "__main__": 
    parseLog(sys.argv[1]) 
+1

Funziona perfettamente. Cosa si trova esattamente nel dizionario da f_user_dict = dict (f_user.attrs) Presumo attributi, dovrò giocare con quel pezzo e vedere esattamente cosa c'è. Grazie ancora! –

+0

Sì per tutti gli elementi, el.attrs conterrà un elenco di tuple degli attributi dei tag xml. Chiamare dettare qualsiasi tupla lo trasformerà in un dizionario. – dcolish

+1

Oh, volevo solo chiarire, la chiamata a dettare una lista di tuple restituirà un dizionario, non una singola tupla: dict ([('ciao', 'addio'), ('foo', 'bar')])) – dcolish

6

Si consiglia di utilizzare il modulo integrato ElementTree. BeautifulSoup ha lo scopo di gestire un codice indeformato come HTML compromesso, mentre XML è ben formato e deve essere letto da una libreria XML.

Aggiornamento: alcune delle mie letture recenti suggeriscono lxml come una libreria costruita e migliorando lo standard ElementTree.

+6

Io uso Beautiful Soup per analizzare l'XML. Dai documenti: "Beautiful Soup è una libreria Python per estrarre dati da file HTML e XML." Beautiful Soup userà qualsiasi parser a cui lo dici, incluso lxml. (vedi http://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-a-parser) – lfalin

+0

E ho visto un sacco di XML malformato generato da stringhe ultimamente. – whatnick