errore di overflow stack protezione freading

Question

Sto usando fread in data.table (1.8.8, R 3.0.1) nel tentativo di leggere file molto grandi.

Il file nelle domande ha 313 righe e ~ 6,6 milioni di colonne di righe di dati numerici e il file è di circa 12 GB. Questo è un Centos 6.4 con 512 GB di RAM.

Quando tento di leggere nel file:

g=fread('final.results',header=T,sep=' ') 
'header' changed by user from 'auto' to TRUE 
Error: protect(): protection stack overflow 

ho provato a partire con R---max ppsize 500000, che è il massimo, ma lo stesso errore.

Ho anche provato a installare la dimensione dello stack per illimitate via

ulimit -s unlimited 

La memoria virtuale è stato già impostato su illimitato.

Sono irrealistico con un file di queste dimensioni? Mi sono perso qualcosa di abbastanza ovvio?

Answer 1

Ora corretto in v1.8.9 su R-Fucina.

• Un limite di 50.000 colonna volute è stata rimossa in fread. Grazie a mpmorley per la segnalazione. Test aggiunto.

La ragione era ho avuto questa parte sbagliata nella fread.c fonte:

// ********************************************************************* 
// Allocate columns for known nrow 
// ********************************************************************* 
ans=PROTECT(allocVector(VECSXP,ncol)); 
protecti++; 
setAttrib(ans,R_NamesSymbol,names); 
for (i=0; i<ncol; i++) { 
    thistype = TypeSxp[ type[i] ]; 
    thiscol = PROTECT(allocVector(thistype,nrow)); // ** HERE ** 
    protecti++; 
    if (type[i]==SXP_INT64) 
     setAttrib(thiscol, R_ClassSymbol, ScalarString(mkChar("integer64"))); 
    SET_TRUELENGTH(thiscol, nrow); 
    SET_VECTOR_ELT(ans,i,thiscol); 
} 

Secondo R-exts section 5.9.1, che proteggono all'interno del ciclo non è necessaria:

In alcuni In alcuni casi è necessario tenere sotto controllo se la protezione è davvero necessaria. Sii particolarmente attento alle situazioni in cui viene generato un numero elevato di oggetti. Lo stack di protezione del puntatore ha una dimensione fissa (valore predefinito 10.000) e può essere pieno. Non è una buona idea quindi PROTEGGERE TUTTO tutto in vista e NON PROTETTERE diverse migliaia di oggetti alla fine. È quasi invariabilmente possibile assegnare gli oggetti come parte di un altro oggetto (che li protegge automaticamente da ) o non proteggerli immediatamente dopo l'uso.

Così PROTECT ora viene rimosso e tutto va bene. (Sembra che il limite dello stack di protezione del puntatore sia stato ridotto a 50.000 da quando è stato scritto quel testo: Defn.h contiene #define R_PPSSIZE 50000L.) Ho controllato tutti gli altri PROTECT nella sorgente C di data.table per qualcosa di simile e trovato e risolto in assegnamento .c anche (quando si aggiungono più di 50.000 colonne per riferimento), nessun altro.

Grazie per aver segnalato!