Estrarre e pulire il frammento HTML utilizzando il parser HTML (org.htmlparser)

Question

Sto cercando un approccio efficiente per estrarre un frammento di HTML da una pagina Web ed eseguire alcune operazioni specifiche su quel frammento HTML.

Le operazioni necessarie sono:

1. Rimuovere tutti i tag che hanno una classe di "nascosto"
2. Rimuovere tutti i tag di script
3. Rimuovere tutti i tag di stile
4. rimuovere gli attributi tutti gli eventi (a * = "*")
5. Rimuovere tutti gli attributi di stile

Ho utilizzato HTML Parser (org.htmlparser) per questa attività e sono stato in grado di soddisfare tutti i requisiti, tuttavia, non credo di avere una soluzione elegante. Attualmente sto analizzando la pagina Web con uno CssSelectorNodeFilter (per ottenere il frammento) e quindi analizzando nuovamente il frammento con uno NodeVisitor per eseguire le operazioni di pulizia.

Qualcuno potrebbe suggerire come affrontare questo problema? Preferirei solo analizzare il documento una sola volta ed eseguire tutte le operazioni durante quell'unica analisi.

Grazie in anticipo!

Answer 1

Check out jsoup - dovrebbe gestire tutte le attività necessarie in modo elegante.

[Edit]

Ecco un esempio completo di lavoro per le operazioni necessarie:

// Load and parse the document fragment. 
File f = new File("myfile.html"); // See also Jsoup#parseBodyFragment(s) 
Document doc = Jsoup.parse(f, "UTF-8", "http://example.com"); 

// Remove all script and style elements and those of class "hidden". 
doc.select("script, style, .hidden").remove(); 

// Remove all style and event-handler attributes from all elements. 
Elements all = doc.select("*"); 
for (Element el : all) { 
    for (Attribute attr : el.attributes()) { 
    String attrKey = attr.getKey(); 
    if (attrKey.equals("style") || attrKey.startsWith("on")) { 
     el.removeAttr(attrKey); 
    } 
    } 
} 
// See also - doc.select("*").removeAttr("style"); 

ti consigliamo di assicurarsi che le cose come la sensibilità caso non contano per i nomi degli attributi, ma questa dovrebbe essere la maggioranza di quello che ti serve.