Come posso caricare file di grandi dimensioni (~ 150 MB) in MATLAB?

Question

Ho un file MATLAB di grandi dimensioni (150 MB) in formato matrice (ad esempio 4070x4070). Ho bisogno di lavorare su questo file in MATLAB ma non riesco a caricare questo file. Sto ottenendo un errore "memoria esaurita". C'è un altro modo in cui posso caricare questa dimensione del file? Sto usando un processore a 32 bit e ho 2 GB di RAM. Per favore aiutami, mi sto stancando di affrontare questo problema.

Answer 1

Se si tratta di un file immagine e si desidera lavorarci, provare lo matlab block processing. Usandolo, caricherete piccole parti del file. La tua funzione fun verrà applicata a ciascun blocco singolarmente.

B = blockproc(src_filename,[M N],fun) 

Nel caso in cui si tratta di un file di xml, provare la modalità XML DOM Node insieme SAX - (Grazie a @Nzbuu per la segnalazione), ma che sembra essere una funzionalità non documentata.

Inoltre, se si tratta di un file di testo di qualsiasi tipo (improbabile, a causa della quantità di dati), provare lo strumento esterno per dividere.

Answer 2

Starting dalla versione R2011b (versione 7.13) è disponibile un nuovo oggetto matlab.io.MatFile con MATFILE come costruttore. Permette di caricare e salvare parti di variabili nei file MAT. Vedi la documentazione per maggiori dettagli. Ecco un semplice esempio per leggere parte di una matrice:

matObj = matfile(filename); 
a = matObj.a(100:500, 200:600); 

Se il file originale non è un file MAT, ma alcuni file di testo, si può leggere in parte e utilizzare matfile per salvare quelle parti alla stessa variabile in un file MAT per un accesso successivo. Ricorda solo di impostare la proprietà Writable su true nel costruttore.

Assumendo che il file di testo è delimitato da tabulazioni e contiene solo numeri, qui è uno script di esempio per leggere i dati dai blocchi e salvarli in un file MAT:

blocksize = 100; 
startrow = 0; 
filename = 'test.mat'; 
matObj = matfile(filename,'Writable',true); 
while true 
    try 
     a = dlmread(filename,'\t',startrow,0); %# depends on your file format 
     startrow = startrow + blocksize; 
     matObj.a(startrow+(1:blocksize),:) = a; 
    catch 
     break 
    end 
end 

Non ho l'ultima release ora per testare, ma spero che dovrebbe funzionare.

Answer 3

È possibile anche utenti MATLAB di Memory-Mapping of Data Files di leggere in un blocco di file, processi, e procedere al successivo blocco senza dover caricare l'intero file in memoria in una sola volta.

Ad esempio, vedere this example, che "esegue il mapping di un file di 100 numeri a virgola mobile a precisione doppia in memoria."