Come evitare perdite di memoria quando carico file di pickle di grandi dimensioni in un ciclo for?

Question

Ho 50 file pickle da 0,5 GB ciascuno. Ogni file pickle è composto da un elenco di oggetti classe personalizzati. Non ho problemi di caricare i file singolarmente utilizzando la funzione seguente:

def loadPickle(fp): 
    with open(fp, 'rb') as fh: 
     listOfObj = pickle.load(fh) 
    return listOfObj 

Tuttavia, quando provo a caricare i file in modo iterativo ottengo una perdita di memoria.

l = ['filepath1', 'filepath2', 'filepath3', 'filepath4'] 
for fp in l: 
    x = loadPickle(fp) 
    print('loaded {0}'.format(fp)) 

La memoria viene espulsa prima dello loaded filepath2. Come posso scrivere codice che garantisca che sia caricato un solo pickle durante ogni iterazione?

Le risposte a domande correlate su SO suggeriscono l'utilizzo di oggetti definiti nel modulo weakref o la garbage collection esplicita utilizzando il modulo gc, ma sto avendo difficoltà a capire come applicare questi metodi al mio caso d'uso specifico. Questo perché ho una comprensione insufficiente di come funziona la referenziazione sotto il cofano.

correlati: Python garbage collection

Answer 1

È possibile risolvere che con l'aggiunta x = None subito dopo for fp in l:.

Il motivo per cui questo funziona è perché verrà annullata la variabile x, in attesa che il garbage collector python liberasse memoria virtuale prima di chiamare loadPickle() la seconda volta.