Il file system Linux è automaticamente supportato dal disco ma è ospitato interamente nella memoria?

Question

Devo eseguire molti piccoli accessi casuali a un intero gruppo di file. Ho una memoria più che sufficiente per contenere tutti i dati.

Quando copio i dati su un filesystem ramfs temporaneo e li elaboro, ciò richiede solo una piccola parte del tempo che l'attesa per l'accesso al disco richiederebbe.

C'è un file system Linux che contiene tutti i suoi dati nella memoria principale, scrive eventuali modifiche su un disco di supporto, ma non tocca mai il disco per eventuali letture?

In caso contrario, è possibile, ad esempio, che le cache ext3 siano sintonizzate in modo da garantire il 100% dei dati e dei metadati?

Answer 1

Perché non provi a creare un mirror RAID tra un disco RAM e un disco fisico?

Non sono sicuro che sia efficiente. Se il mirror deve essere sempre sincronizzato, dovrà comunque attendere il disco quando si scrive, ma per la lettura si dovrebbe ottenere qualcosa. Ma sì, per me sembra molto complicato, ruota reinventata piazza IO caching :)

Sarebbe un buon esperimento, però.

Answer 2

Se stai leggendo solo i dati, allora si può davvero caching sintonizzarsi in modo tale che tutti i dati saranno memorizzati nella cache in RAM - vedi/usr/src/linux/Documentation/sysctl/ fs.txt vm.txt per i dettagli di cosa puoi modificare qui. Il problema sorge quando si scrivono dati, in particolare se si utilizza fsync() o simili per assicurarsi che i dati siano stati commessi sul disco reale.

come il sistema operativo ha per aggiornare il disco nel caso di un fsync(), non c'è molto che si può fare se si vuole ancora per garantire che i dati è consistente e non sarebbe perso in mancanza di alimentazione elettrica.

Uno dei problemi in cui ci si imbatte è il atime o il tempo di accesso: per impostazione predefinita ogni volta che si accede a un file, il tempo di accesso viene aggiornato nell'inode. Ciò causerà la scrittura del disco anche quando pensi di eseguire solo letture. Questo può essere un problema particolare nel tuo scenario in cui accedi a molti piccoli file. Se non ti interessa monitorare il tempo di accesso, puoi montare il tuo filesystem con lo noatime per disabilitare questa 'funzione'.

Answer 3

un'occhiata a questo:

http://freecode.com/articles/virtual-filesystem-building-a-linux-filesystem-from-an-ordinary-file

È possibile montare un file come un FS in un ramdisk, allora il backup come file.

Non è sicuro di voler eseguire il backup di frequente, ma è una buona soluzione per salvare tutto il disco virtuale in una sola volta.