Per comprimere un file grande in un ZIP con Java

Question

Ho la necessità di comprimere un file Big (~ 450 Mbyte) tramite la classe Java ZipOutputStream. Questa grande dimensione causa un problema di errore "OutOfMemory" del mio spazio heap JVM. Ciò accade perché il metodo "zos.write (...)" memorizza TUTTO il contenuto del file da comprimere in un array di byte interno prima di comprimerlo.

  origin = new BufferedInputStream(fi, BUFFER); 
     ZipEntry entry = new ZipEntry(filePath); 
     zos.putNextEntry(entry); 

     int count; 
     while ((count = origin.read(data, 0, BUFFER)) != -1) 
     { 
      zos.write(data, 0, count); 
     } 
     origin.close(); 

La soluzione naturale sarà quello di allargare lo spazio di memoria heap della JVM, ma vorrei sapere se c'è un metodo di scrivere questi dati in modo streaming. Non ho bisogno di un alto tasso di compressione in modo da poter cambiare anche l'algoritmo.

qualcuno ha un'idea a riguardo?

Answer 1

In base al tuo commento alla risposta di Sam, hai ovviamente creato un ZipOutputStream, che avvolge un ByteArrayOutputStream. ByteArrayOutputStream, naturalmente, memorizza nella cache il risultato compresso in memoria. Se vuoi che sia scritto su disco, devi avvolgere lo ZipOutputStream attorno a un FileOutputStream.

Answer 2

C'è una libreria chiamata TrueZip che in passato ho usato con buon successo per fare questo genere di cose.

Non posso garantire che funzioni meglio sul fronte di buffering. So che fa un sacco di cose con la sua codifica piuttosto che a seconda dell'API Zip di JDK.

Quindi vale la pena provare, secondo me.

Answer 3

ZipOutputStream è basato su flusso, non trattiene memoria. Il tuo BUFFER potrebbe essere troppo grande.

Answer 4

Mi chiedo se è perché si sta memorizzando il contenuto in uno ZipEntry, forse in pratica carica tutto il suo contenuto prima di scrivere lo ZipEntry. Devi usare Zip? Se è solo un flusso di dati che è necessario comprimere, si potrebbe invece esaminare GZIPOutputStream. Credo che non avrebbe lo stesso problema.

Spero che questo aiuti.