metodo python per estrarre il contenuto (navigazione esclusa) da una pagina HTML

Question

Ovviamente una pagina HTML può essere analizzata usando un numero qualsiasi di parser Python, ma sono sorpreso che non ci siano script di analisi pubblici da estrarre contenuto significativo (escluse le barre laterali, la navigazione, ecc.) da un determinato documento HTML.

Immagino che sia qualcosa come raccogliere gli elementi DIV e P e quindi controllarli per una quantità minima di contenuto di testo, ma sono sicuro che una solida implementazione includerebbe molte cose a cui non avevo pensato.

Answer 1

Provate la libreria Beautiful Soup per Python. Ha metodi molto semplici per estrarre informazioni da un file html.

Provare a estrarre genericamente dati da pagine Web richiederebbe alle persone di scrivere le proprie pagine in un modo simile ... ma c'è un numero quasi infinito di modi per trasmettere una pagina che sembra identica, figuriamoci tutte le connessioni che si possono avere per trasmettere le stesse informazioni.

Esiste un particolare tipo di informazioni che stavi tentando di estrarre o un altro obiettivo finale?

Si potrebbe provare a estrarre qualsiasi contenuto nei marcatori 'div' e 'p' e confrontare le dimensioni relative di tutte le informazioni nella pagina. Il problema quindi è che le persone probabilmente raggruppano le informazioni in raccolte di "div" e "p" (o almeno lo fanno se scrivono html ben formato!).

Forse se hai formato un albero di come le informazioni sono correlate (i nodi sarebbero la 'p' o 'div o qualsiasi altra cosa e ogni nodo conterrà il testo associato) potresti fare una sorta di analisi per identificare il più piccolo' p 'o' div 'che racchiude quella che sembra essere la maggior parte delle informazioni ..?

[EDIT] Forse se riesci a metterlo nella struttura ad albero, ho suggerito, potresti quindi utilizzare un sistema di punti simile allo spam assassino. Definire alcune regole che tentano di classificare le informazioni. Alcuni esempi:

+1 points for every 100 words 
+1 points for every child element that has > 100 words 
-1 points if the section name contains the word 'nav' 
-2 points if the section name contains the word 'advert' 

Se avete un sacco di regole a basso punteggio che si sommano quando si trova più relevent cercando sezioni, penso che potrebbe evolversi in una tecnica abbastanza potente e robusto.

[EDIT2] Osservando la leggibilità, sembra che stia facendo praticamente esattamente quello che ho appena suggerito! Forse potrebbe essere migliorato per cercare di capire meglio i tavoli?

Answer 2

Ciò che è significativo e ciò che non lo è, dipende dalla semantica della pagina. Se la semantica è schifosa, il tuo codice non "indovina" ciò che è significativo. Io uso la leggibilità, che hai collegato nel commento, e vedo che su molte pagine cerco di leggerlo non fornisce alcun risultato, non parlo di uno decente.

Se qualcuno inserisce il contenuto in un tavolo, sei condannato. Prova la leggibilità su un forum phpbb vedrai cosa intendo.

Se si desidera eseguire questa operazione, eseguire un'espressione regolare su <p></p> o analizzare il DOM.

Answer 3

Dai un'occhiata alla templatemaker: http://www.holovaty.com/writing/templatemaker/

E 'scritto da uno dei fondatori di Django. Fondamentalmente gli metti da parte alcuni file html di esempio e genererà un "template" che potrai usare per estrarre solo i bit che sono diversi (che di solito è il contenuto significativo).

Ecco un esempio dalla google code page:

 

# Import the Template class. 
>>> from templatemaker import Template 

# Create a Template instance. 
>>> t = Template() 

# Learn a Sample String. 
>>> t.learn('<b>this and that</b>') 

# Output the template so far, using the "!" character to mark holes. 
# We've only learned a single string, so the template has no holes. 
>>> t.as_text('!') 
'<b>this and that</b>' 

# Learn another string. The True return value means the template gained 
# at least one hole. 
>>> t.learn('<b>alex and sue</b>') 
True 

# Sure enough, the template now has some holes. 
>>> t.as_text('!') 
'<b>! and !</b>' 
 

Answer 4

Si potrebbe utilizzare il boilerpipe Web application per recuperare ed estrarre il contenuto al volo.

(Questo non è specifico per Python, poiché è necessario solo inviare una richiesta HTTP GET a una pagina su Google AppEngine).

Cheers,

cristiane

Answer 5

Goose è solo la libreria per questo compito. Per citare il loro README:

oca cercherà di estrarre le seguenti informazioni:

• testo principale di un articolo
• immagine principale dell'articolo
• qualsiasi film Youtube/Vimeo incorporati nell'articolo
• Meta Description
• Meta tag