C'è un modo per comprimere un oggetto in memoria e usarlo in modo trasparente?

Question

Attualmente sto creando un'applicazione di analisi che gestisce grandi quantità di dati. Un caso tipico sarebbe simile a questo: l'utente seleziona una cartella con circa 600 file di misurazione che contengono ciascuno da 40.000 a 100.000 valori. L'applicazione legge questi valori in un oggetto che funziona internamente come una cache di dati, in modo che i file non devono essere letti su ogni accesso.

Questo funziona molto bene, ma ho notato che il consumo di memoria è molto alto e potrebbe diventare troppo grande. Durante i miei test l'applicazione si è bloccata quando il suo consumo di memoria ha superato i 2 GB di RAM.

La struttura dati che contiene i dati è il più semplice possibile, in pratica consiste solo in alcuni dizionari che contengono i dati in un modo nidificato a 2 livelli, niente di complesso. Mi stavo chiedendo se c'è un modo conveniente di archiviare questo oggetto in una forma compressa nella RAM. So che questo ridurrebbe le prestazioni, ma nel mio caso è assolutamente accettabile.

C'è un modo per fare qualcosa del genere che mi permetta di usare i miei oggetti come al solito? O devo implementare la compressione da solo all'interno del mio oggetto?

Grazie per i vostri pensieri e raccomandazioni!

Answer 1

Dipende molto dal tipo di lavoro. Una possibilità è quella di comprimere i tuoi oggetti, conservandoli come un byte[] compresso invece del formato di oggetto grezzo usando un Extension Method.

È possibile combinare che insieme a fare il processo di bit di lavoro x64:

public static byte[] SerializeAndCompress(this object obj) 
{ 
    using (MemoryStream ms = new MemoryStream()) 
    using (GZipStream zs = new GZipStream(ms, CompressionMode.Compress, true)) 
    { 
     BinaryFormatter bf = new BinaryFormatter(); 
     bf.Serialize(zs, obj); 
     return ms.ToArray(); 
    } 
} 

public static T DecompressAndDeserialize<T>(this byte[] data) 
{ 
    using (MemoryStream ms = new MemoryStream(data)) 
    using (GZipStream zs = new GZipStream(ms, CompressionMode.Decompress, true)) 
    { 
     BinaryFormatter bf = new BinaryFormatter(); 
     return (T)bf.Deserialize(zs); 
    } 
}