Gestione di file netCDF molto grandi in python

Question

Sto provando a lavorare con dati da file netCDF molto grandi (~ 400 GB ciascuno). Ogni file ha alcune variabili, tutte molto più grandi della memoria di sistema (ad esempio 180 Gb vs 32 Gb RAM). Sto cercando di usare numpy e netCDF4-python per fare alcune operazioni su queste variabili copiando una slice alla volta e operando su quella slice. Sfortunatamente, ci vuole molto tempo solo per leggere ogni sezione, che sta uccidendo la performance.

Ad esempio, una delle variabili è una matrice di forma (500, 500, 450, 300). Voglio operare sulla fetta [:,:,0], così faccio la seguente:

import netCDF4 as nc 

f = nc.Dataset('myfile.ncdf','r+') 
myvar = f.variables['myvar'] 
myslice = myvar[:,:,0] 

Ma l'ultimo passaggio richiede un tempo molto lungo (~ 5 min sul mio sistema). Se ad esempio ho salvato una variabile di forma (500, 500, 300) nel file netcdf, un'operazione di lettura della stessa dimensione richiederà solo pochi secondi.

C'è un modo per accelerare? Un percorso ovvio sarebbe quello di trasporre la matrice in modo che gli indici che sto selezionando emergessero per primi. Ma in un file così grande non sarebbe possibile farlo in memoria, e sembra ancora più lento tentare, visto che un'operazione semplice richiede già molto tempo. Quello che mi piacerebbe è un modo rapido per leggere una porzione di un file netcdf, nel modo in cui la funzione get_vara dell'interfaccia di Fortran. O un modo per trasporre efficacemente la matrice.

Answer 1

È possibile trasporre variabili netCDF troppo grande per entrare in memoria utilizzando l'utilità nccopy, che è documentata qui:

http://www.unidata.ucar.edu/netcdf/docs/guide_nccopy.html

L'idea è quella di "rechunk" il file specificando quali forme dei pezzi (tessere multidimensionali) che si desidera per le variabili. È possibile specificare la quantità di memoria da utilizzare come buffer e quanto utilizzare per le porzioni di blocchi nella quantità di , ma non è chiaro come utilizzare la memoria in modo ottimale tra questi usi, pertanto è possibile che si debba semplicemente provare alcuni esempi e cronometrare. Anziché trasporre completamente una variabile, probabilmente si desidera "trasporla parzialmente", specificando blocchi che hanno molti dati lungo le 2 grandi dimensioni della propria sezione e che hanno solo pochi valori lungo le altre dimensioni.

Answer 2

Questo è un commento, non una risposta, ma non posso commentare quanto sopra, mi spiace.

Capisco che si desidera elaborare myvar[:,:,i], con i in range(450). In tal caso, si sta andando a fare qualcosa di simile:

for i in range(450): 
    myslice = myvar[:,:,i] 
    do_something(slice) 

e il collo di bottiglia è nell'accesso myslice = myvar[:,:,i]. Hai provato a confrontare il tempo necessario per accedere a moreslices = myvar[:,:,0:n]? Sarebbe contiguos data, e forse si può risparmiare tempo con quello. Dovresti scegliere n grande quanto la tua memoria lo offre, quindi elaborare il prossimo pezzo di dati moreslices = myvar[:,:,n:2n] e così via.