OutOfMemoryException durante la creazione di file ZIP di grandi dimensioni mediante System.IO.Packaging

Question

Sto tentando di eseguire il debug di un OutOfMemoryException che si verifica quando si crea un file ZIP piuttosto grande utilizzando System.IO.Packaging.ZipPackage.

Il codice sta scorrendo un lungo elenco di oggetti, eseguendo le seguenti operazioni per ciascun oggetto.

1. Serializzazione dei dati oggetto in un file temporaneo.
2. Creazione di un PackagePart per il file.
3. copia da una fonte System.IO.Stream ad un altro: flusso
   • Fonte: FileStream
   • flusso di destinazione: PackagePart::GetStream() =>MS.Internal.IO.Zip.ZipIOModeEnforcingStream

Infine chiama Package::Close() che salva il file.

Il problema che sto avendo è che per un elenco particolarmente grande di oggetti, sto vedendo un OutOfMemoryException (la dimensione del processo x86 arriva a circa 1,2 GB di dimensione).

Stavo pensando di suddividere i dati oggetto in blocchi, quindi elaboro solo una quantità minore per ciclo (ad esempio, i passaggi 1-3 sopra). L'idea è che vorrei creare i file ZIP n in una directory temporanea, e quindi trovare un modo per combinarli in un unico archivio.

È possibile utilizzare System.IO.Packaging? Cosa dovrei usare per combinare le parti?

O c'è un modo migliore per risolvere questo problema?

Answer 1

Chiamare il metodo Flush sull'oggetto Package tra la creazione di un nuovo pacchetto dovrebbe probabilmente risolvere il problema poiché ciò causerebbe il flush del buffer di memoria sul disco.

Answer 2

Vorrei utilizzare la libreria DotNetZip (http://dotnetzip.codeplex.com/). Ho provato diverse librerie zip (System.IO come si sta attualmente utilizzando e anche SharpZibLib) e da lontano il più facile da usare è la libreria DotNetZip.

Quasi sicuramente ci saranno meno linee di codice e ho trovato che l'utilizzo della memoria è molto buono (ho avuto un problema in un ambiente di macchina virtuale che ho segnalato e una nuova versione lo ha risolto).