Implementazione IList di file mappati in memoria, per la memorizzazione di serie di dati di grandi dimensioni "in memoria"?

Question

Ho bisogno di eseguire le operazioni in ordine cronologico su enormi serie temporali implementate come IList. I dati vengono infine archiviati in un database, ma non avrebbe senso inviare decine di milioni di query al database.

Attualmente IList in memoria attiva un'eccezione OutOfMemory quando si tenta di archiviare più di 8 milioni (piccoli) oggetti, anche se dovrei occuparmi di decine di milioni.

Dopo alcune ricerche, sembra che il modo migliore per farlo sarebbe quello di memorizzare i dati su disco e accedervi tramite un wrapper IList.

Memory-mapped files (introdotto in .NET 4.0) sembra l'interfaccia corretta da utilizzare, ma mi chiedo quale sia il modo migliore per scrivere una classe che dovrebbe implementare IList (per un facile accesso) e gestire internamente un file mappato in memoria.

Sono anche curioso di sapere se conosci altri modi! Ho pensato ad esempio a un wrapper IList che utilizzava dati da db4o (someone mentionned here usando un file mappato in memoria come IoAdapterFile, sebbene l'uso di db4o probabilmente aggiunga un costo delle prestazioni rispetto a quello diretto con il file mappato in memoria).

Mi sono imbattuto nel this question chiesto nel 2009, ma non ha prodotto risposte utili o idee serie.

Answer 1

Ho trovato questo PersistentDictionary<>, ma funziona solo con le stringhe e leggendo il codice sorgente non sono sicuro che sia stato progettato per dataset di grandi dimensioni.

Più scalabile (fino a 16 TB), il ESENT PersistentDictionary<>, utilizza il motore di database ESENT presente in Windows (XP +) e può archiviare tutti gli oggetti serializzabili contenenti tipi semplici.

Disk Based Data Structures, including Dictionary, List and Array with an "intelligent" serializer sembrava esattamente come quello che stavo cercando, ma non ha funzionato senza problemi con dataset estremamente grandi, soprattutto perché non fa uso dei "MemoryMappedFiles" nativi .NET ancora, e il supporto per i sistemi a 32 bit è sperimentale .

Aggiornamento 1: Ho finito per implementare la mia versione che fa largo uso di .NET MemoryMappedFiles; è molto veloce e probabilmente lo rilascerò su Codeplex dopo averlo reso migliore per usi più generici.

Aggiornamento 2: TeaFiles.Net ha funzionato perfettamente per il mio scopo. Altamente raccomandato (e gratuito).

Answer 2

I file mappati in memoria sono un bel modo per farlo. Ma sarà molto lento se devi accedere alle cose in modo casuale.

La soluzione migliore è probabilmente quella di creare una dimensione di struttura fissa se salvata in memoria (se possibile), quindi utilizzare l'offset come ID di elemento di elenco. Tuttavia, l'eliminazione/l'ordinamento è sempre un problema.

Answer 3

vedo diverse opzioni:

• "in-memory-DB"
  ad esempio SQLite può essere usato in questo modo - non necessita di alcuna installazione, ecc basta distribuire la DLL (1 o 2) insieme con l'app e il resto può essere fatto a livello di programmazione
• Caricare tutti i dati in tabelle temporanee nel DB, con quantità di dati sconosciute (ma grandi) ho trovato che questo si ripaga molto velocemente (e l'elaborazione può essere eseguita normalmente all'interno del DB che è ancora meglio!)
• utilizzare un file mappato in memoria e una dimensione struttura fissa (accesso array come tramite offset) ma attenzione che la memoria fisica è il limite tranne si utilizza una sorta di "finestra scorrevole" per mappare solo alcune parti in memoria