Trucchi per evitare la duplicazione dell'allocazione di memoria quando si restituisce data.table o data.frame in R?

Question

ho creato una funzione che è chiamato a leggere e poi tornare un data.table:

read.in.data <- function(filename) 
{ 
    library(data.table) 
    data.holder<-read.table(filename, skip=1) 
    return(data.table(data.holder)) 
} 

ho notato osservando la mia RAM in quanto i processi di funzione che R sembra elaborare questo in 2 fasi (o almeno questa è la mia ipotesi migliore per quello che sta succedendo). Ad esempio, quando carico un file da 1,5 GB (15 colonne con un totale di 136 caratteri per riga), R sembra 1) leggere i dati e utilizzare 1,5 GB di RAM, quindi 2) utilizzare un altro 1,5 GB di RAM per il ritorno.

Ci sono alcuni trucchi per creare una funzione per creare un data.table (o data.frame per quella materia) e restituire data.table senza richiedere la duplicazione in memoria? O devo fare tutto il processo per data.table all'interno della funzione in cui viene creata la tabella?

Osservazioni: Se eseguo questo codice due volte di seguito, la memoria non viene cancellata; poiché ho solo 8 GB di RAM, la funzione fallisce. Se salto la fase di memorizzazione di "read.table" in una variabile (come mostrato di seguito), non ottengo alcun beneficio. Non vorrei farlo in alcun modo, dal momento che mi piacerebbe avere la possibilità di ripulire i dati.table prima di restituirlo. Una soluzione al mio problema mi permetterebbe anche di elaborare file più grandi senza esaurire la memoria.

short.read.trk <- function(fntrk) 
{ 
    library(data.table) 
    return(data.table(read.table(fntrk, skip=1))) 
} 

Answer 1

Se il risparmio di memoria è per lo più quello che stai dopo, è possibile convertire uno colonna alla volta:

library(data.table) 
read.in.data <- function(filename) 
{ 
    data.holder <- read.table(filename, skip=1) 
    dt <- data.table(data.holder[[1]]) 
    names(dt) <- names(data.holder)[1] 
    data.holder[[1]] <- NULL 

    for(n in names(data.holder)) { 
    dt[, `:=`(n, data.holder[[n]]) ] 
    data.holder[[n]] <- NULL 
    } 
    return(dt) 
} 

(non testato)

Non sarà più veloce, infatti è probabilmente più lento. Ma dovrebbe essere meno dispendioso della memoria.