C'è un modo più veloce per scaricare una pagina dalla rete in una stringa?

Question

Ho provato altri metodi per scaricare informazioni da un URL, ma avevo bisogno di uno più veloce. Devo scaricare e analizzare circa 250 pagine separate e vorrei che l'app non sembrasse ridicolmente lenta. Questo è il codice che sto attualmente usando per recuperare una singola pagina, qualsiasi intuizione sarebbe ottima.

try 
{ 
    URL myURL = new URL("http://www.google.com"); 
    URLConnection ucon = myURL.openConnection(); 
    InputStream inputStream = ucon.getInputStream(); 
    BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream); 
    ByteArrayBuffer byteArrayBuffer = new ByteArrayBuffer(50); 
    int current = 0; 
    while ((current = bufferedInputStream.read()) != -1) { 
     byteArrayBuffer.append((byte) current); 
    } 
    tempString = new String(byteArrayBuffer.toByteArray()); 

} 
catch (Exception e) 
{ 
    Log.i("Error",e.toString()); 
} 

Answer 1

Provare a mantenere la connessione aperta se le richieste si riferiscono allo stesso server. Inoltre, cerca di evitare riallocazioni nel buffer e di leggere il più possibile in un colpo solo.

 

const int APPROX_MAX_PAGE_SIZE = 300; 
try 
{ 
    URL myURL = new URL("http://www.google.com"); 
    URLConnection ucon = myURL.openConnection(); 
    ucon.setRequestHeader("Connection", "keep-alive") // (1) 
    InputStream inputStream = ucon.getInputStream(); 
    BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream); 
    ByteArrayBuffer byteArrayBuffer = new ByteArrayBuffer(APPROX_MAX_PAGE_SIZE); // (2) 
    int current = 0; 
    byte[] buf = new byte[APPROX_MAX_PAGE_SIZE]; 
    int read; 
    do { 
     read = bufferedInputStream.read(buf, 0, buf.length); // (3) 
     if(read > 0) byteArrayBuffer.append(buf, 0, read); 
    } while (read >= 0); 
    tempString = new String(byteArrayBuffer.toByteArray()); 

} 
catch (Exception e) 
{ 
    Log.i("Error",e.toString()); 
} 

 

1. Set intestazione keep-alive (non so se avete bisogno di questo, su J2SE è una proprietà configurabile pure)
2. Assegnare ciò che è "abbastanza solitamente" nel buffer per evitare di riallocazione.
3. leggere più di un byte alla volta

responsabilità: questo è stato scritto "in cieco" senza accesso a un compilatore Java. È possibile che setRequestHeader sia disponibile solo su HttpURLConnection (necessario cast) o che alcuni parametri siano errati, ma ti preghiamo di modificarlo in caso affermativo.

Answer 2

Perché non si utilizzano i componenti http Apache integrati?

HttpClient httpClient = new DefaultHttpClient(); 
HttpGet request = new HttpGet(uri); 
HttpResponse response = httpClient.execute(request); 

int status = response.getStatusLine().getStatusCode(); 

if (status != HttpStatus.SC_OK) { 
    ByteArrayOutputStream ostream = new ByteArrayOutputStream(); 
    response.getEntity().writeTo(ostream); 
} 

Answer 3

Utilizzare un pool HTTPClient e cercare di fare 2 o 3 richieste in una sola volta. E prova a creare un pool di memoria per evitare allocazioni e le bancarelle GC.