Ho lavorato a un progetto che genera un ordine di 10 - 100 milioni di output da una simulazione che vorrei conservare per analisi future. Esistono diversi livelli di organizzazione della natura dei dati, ad es. Le classi tengono gli studenti che prendono test che hanno una serie di metriche di rendimento differenti.Il modo migliore per archiviare da 10 a 100 milioni di output di simulazione da .net (SQL vs file flat)
Sembra che i miei dati siano una linea di confine in termini di poterli inserire tutti in una volta in memoria (dato che il calcolo delle simulazioni richiede una buona quantità di dati in memoria per eseguire il calcolo), ma non lo faccio avere immediatamente bisogno che tutti i dati siano disponibili per il mio programma in una sola volta.
Sto valutando la possibilità di inviare i valori calcolati a un database SQL oa un file di testo flat. Sto cercando consigli su quale approccio potrebbe essere più veloce/più facile da mantenere (o se hai un suggerimento alternativo per la memorizzazione dei dati che sono aperto a quello).
Non ho bisogno di essere in grado di condividere i dati con nessun altro o di preoccuparmi di accedere ai dati lungo la linea. Ho solo bisogno di un modo conveniente per evitare di rigenerare le simulazioni ogni volta che voglio apportare una modifica all'analisi dei valori.
Se i dati sono in oggetti .NET, Binary serializzazione potrebbe funzionare magicamente. – SWeko