Il modo più semplice per caricare correttamente html dalla pagina Web in una stringa in Java

Question

Proprio quello che dice il titolo.

Aiuto molto apprezzato!

Answer 1

Un errore estremamente comune è l'incapacità di convertire correttamente una risposta HTTP da byte a caratteri. Per fare ciò, devi conoscere la codifica dei caratteri della risposta. Si spera che questo sia specificato come parametro nel parametro "Content-Type". Ma inserirla nel corpo stesso, come attributo "http-equiv" in un tag meta è anche un'opzione.

Quindi, è sorprendentemente complicato caricare una pagina in un String correttamente e anche le librerie di terze parti come HttpClient non offrono una soluzione generale.

Ecco una semplice implementazione che gestirà il caso più comune:

URL url = new URL("http://stackoverflow.com/questions/1381617"); 
URLConnection con = url.openConnection(); 
Pattern p = Pattern.compile("text/html;\\s+charset=([^\\s]+)\\s*"); 
Matcher m = p.matcher(con.getContentType()); 
/* If Content-Type doesn't match this pre-conception, choose default and 
* hope for the best. */ 
String charset = m.matches() ? m.group(1) : "ISO-8859-1"; 
Reader r = new InputStreamReader(con.getInputStream(), charset); 
StringBuilder buf = new StringBuilder(); 
while (true) { 
    int ch = r.read(); 
    if (ch < 0) 
    break; 
    buf.append((char) ch); 
} 
String str = buf.toString(); 

Answer 2

Io uso questo:

 BufferedReader bufferedReader = new BufferedReader( 
            new InputStreamReader( 
              new URL(urlToSeach) 
               .openConnection() 
               .getInputStream())); 

     StringBuilder sb = new StringBuilder(); 
     String line = null; 
     while((line = bufferedReader.readLine()) != null) { 
      sb.append(line) ; 
      sb.append("\n"); 
     } 
     .... in finally.... 
     buffer.close(); 

Funziona il più delle volte.

Answer 3

è ancora possibile semplificare un po 'con org.apache.commons.io.IOUtils:

URL url = new URL("http://stackoverflow.com/questions/1381617"); 
URLConnection con = url.openConnection(); 
Pattern p = Pattern.compile("text/html;\\s+charset=([^\\s]+)\\s*"); 
Matcher m = p.matcher(con.getContentType()); 
/* If Content-Type doesn't match this pre-conception, choose default and 
* hope for the best. */ 
String charset = m.matches() ? m.group(1) : "ISO-8859-1"; 
String str = IOUtils.toString(con.getInputStream(), charset);