Scrivi su file senza riempimento zero in Linux

Question

Diciamo che l'intento è quello di creare un file con un buco grande all'inizio che scriveremo più avanti, su un dispositivo embedded su cui è in esecuzione Linux. Apriamo il file, otteniamo un descrittore di file e chiamiamo lseek su di esso per cercare una determinata posizione nota. Successivamente, quando vogliamo scrivere su quel file nella posizione cercata, chiamiamo write su di esso.

Tuttavia, sul primo scrivere il foro creato dalla ricerca viene riempito a zero e se il foro è abbastanza grande, questa operazione può richiedere del tempo. Nella mia applicazione, non c'è bisogno di questa inizializzazione dello zero, poiché il buco ha una lunghezza esatta e lo riempirò con i miei dati più tardi.

C'è un modo per evitare di avere la prima chiamata write dopo lo seek riempire a zero il foro (anche se ciò comporta la modifica del driver del filesystem)? In alternativa, c'è un modo di scrivere su un file prima dell'inizio del file (che si aggiunge alla parte anteriore del file)?

Answer 1

Questo è probabilmente correlato al tuo filesystem. Su ext2/3/4, reiser, btrfs, xfs e simili, facendo ciò che descrivi dovrebbe non impiegare molto tempo, perché supportano quelli che vengono chiamati "file sparsi" (file che occupano meno spazio nel sottostanti memorizzazione rispetto alla dimensione del file, perché le analisi degli zeri non sono archiviate fisicamente).

Si potrebbe provare un esperimento con dd per assicurarsi che questo è il caso:

$ dd if=/dev/zero of=whatever bs=1k seek=1073741824 count=1 
1+0 records in 
1+0 records out 
1024 bytes (1.0 kB) copied, 9.1878e-05 s, 11.1 MB/s 
$ ls -al whatever 
-rw-r--r-- 1 xxxx xxxx 1099511628800 Jan 31 18:04 whatever 
$ du -h whatever 
16K whatever 

Sul filesystem, che, probabilmente, non riesce. Se è così, e ciò di cui hai bisogno è creare un file sparse, determinare se puoi usare un filesystem differente.

Answer 2

Hai provato a utilizzare la bandiera MAP_UNINITIALIZED?

Answer 3

Tuttavia, sul primo scrivere il foro creato dalla ricerca viene riempito a zero e se il foro è abbastanza grande, questa operazione può richiedere del tempo.

No, non è possibile. Scriverà solo i dati forniti a write(). Gli zeri nella parte non scritta non sono fisicamente lì: sono un artefatto del file system.

Answer 4

Questa potrebbe non essere una soluzione fattibile per il vostro caso d'uso per vari motivi, ma posso immaginare di dividere il file di grandi dimensioni in blocchi numerati in serie. Un chunk mancante o zero dovrebbe contenere zero (o qualche altro valore fisso). Scegli la dimensione del blocco per adattarlo allo spazio che desideri riservare e ottenere un buon compromesso tra la dimensione del file e il numero di blocchi.

Oppure renderlo un po 'più complicato e utilizzare dimensioni variabili del blocco, con la dimensione "virtuale" del singolo blocco memorizzato da qualche altra parte. Dato un sistema di numerazione abbastanza complesso puoi persino inserire nuovi blocchi senza rinominare i file chunk successivi ...

Ovviamente avrai bisogno di un ulteriore livello di accesso per eseguire il de-chunking, nel codice dell'applicazione se è sufficiente , o il caso peggiore come driver del kernel che si aggancia alla gestione dei file.