gestione efficiente della memoria in R

Question

ho 6 GB di memoria nella mia macchina (Windows 7 Pro 64 bit) e R, ottengo

> memory.limit() 
6141 

Naturalmente, quando si tratta di dati di grandi dimensioni, si verifica un errore di allocazione della memoria. Quindi, al fine di rendere R per utilizzare la memoria virtuale, io uso

> memory.limit(50000) 

Ora, quando si esegue il mio script, non ho errore di allocazione di memoria più, ma R maiali tutta la memoria nel mio computer in modo da poter usare la macchina fino al termine dello script Mi chiedo se c'è un modo migliore per far sì che R gestisca la memoria della macchina. Penso che qualcosa che può fare è usare la memoria virtuale se sta usando la memoria fisica più di quella specificata dall'utente. C'è qualche opzione come quella?

Answer 1

Guardate la FF e pacchetti bigmemory. Questo utilizza funzioni che conoscono gli oggetti R per tenerli su disco piuttosto che lasciare che il sistema operativo (che conosce solo pezzi di memoria, ma non ciò che rappresentano).

Answer 2

R non gestisce la memoria della macchina. Questa è la responsabilità del sistema operativo. L'unica ragione per memory.size e memory.limit esiste in Windows è perché (da help("Memory-limits")):

Under Windows, R imposes limits on the total memory allocation 
available to a single session as the OS provides no way to do so: 
see 'memory.size' and 'memory.limit'. 

R oggetti anche di occupare spazio contiguo di RAM, in modo da poter incorrere in problemi di allocazione di memoria con pochi oggetti di grandi dimensioni. Probabilmente potresti stare più attento con il numero/dimensione degli oggetti che crei ed evitare di usare così tanta memoria.

Answer 3

Questa non è una soluzione ma un suggerimento. Utilizza oggetti con memoria efficiente laddove possibile: ad esempio, usa una matrice invece di un data.frame.

Ecco un esempio

m = matrix(rnorm(1000), 2, 2) 
d = as.data.frame(m) 
object.size(m) 
232 bytes 
object.size(d) 
808 bytes