Come estrarre contenuti significativi e utili dalle pagine Web?

Question

Vorrei analizzare una pagina Web e ricavarne contenuti significativi. Per significato, intendo il contenuto (solo testo) che l'utente vuole vedere in quella particolare pagina (dati esclusi annunci, banner, commenti, ecc.) Voglio garantire che quando un utente salva una pagina, i dati che desidera leggere è salvato, e nient'altro.

In breve, ho bisogno di creare un'applicazione che funzioni come Readability. (http://www.readability.com) Ho bisogno di prendere questo contenuto utile della pagina web e memorizzarlo in un file separato. Non so davvero come farlo.

Non voglio utilizzare le API che richiedono la connessione a Internet e il recupero dei dati dai loro server poiché il processo di estrazione dei dati deve essere eseguito offline.

Ci sono due metodi che mi veniva in mente:

1. usare un algoritmo basato apprendimento automatico (come questo: http://ai-depot.com/articles/the-easy-way-to-extract-useful-text-from-arbitrary-html/)

2. Sviluppare un raschietto web che potrebbe soddisfacente rimuovere tutto il disordine dal web pagine.

Esiste uno strumento esistente che esegue questa operazione? Mi sono imbattuto nella libreria boilerpipe (http://code.google.com/p/boilerpipe/) ma non l'ho usata. Qualcuno l'ha usato? Fornisce risultati soddisfacenti? Esistono altri strumenti, in particolare scritti in PHP o Python, che eseguono questo tipo di scraping web?

Se ho bisogno di costruire il mio strumento per farlo, cosa vorresti suggerire di fare?

Dato che avevo bisogno di ripulire HTML disordinato o incompleti prima di iniziare la sua analisi, mi piacerebbe utilizzare uno strumento come Tidy (http://www.w3.org/People/Raggett/tidy/) oppure Beautiful Soup (http://www.crummy.com/software/BeautifulSoup/bs4/doc/) per fare il lavoro.

Ma non so come estrarre il contenuto dopo questo passaggio.

PS. Sono un dilettante e mi piacerebbe se ci fossero strumenti open source pronti a fare questo, e possano essere facilmente integrati nel mio codice che scriverò in PHP o Python. O se devo scrivere il mio codice, mi piacerebbe avere una guida che ha già fatto un lavoro simile! :) Grazie mille!

Answer 1

hai digitato "leggibilità python" in google? c'è una libreria molto popolare (oltre 200 follower) su github.

https://github.com/buriy/python-readability

Inoltre, v'è un php uno se si dovesse digitare 'php leggibilità' anche se ha 100 seguaci non ha avuto per quasi due anni https://github.com/feelinglucky/php-readability

e, infine, il più popolare (350+ github folowers) è la porta di leggibilità rubino https://github.com/iterationlabs/ruby-readability

Per lo meno si può vedere come questi 3 diversi progetti realizzano l'analisi delle "parti importanti" di una pagina web.

Answer 2

È possibile utilizzare htql.

import htql 
page="..." 
query="&html_main_text" 

result=htql.query(page, query)