Come impedire a django di caricare oggetti in memoria quando si utilizza `delete()`?

Question

Sto avendo problemi di memoria perché sembra che Django sta caricando gli oggetti in memoria quando si utilizza delete(). C'è un modo per impedire a Django di farlo?

Dalla documentazione Django:

Django deve recuperare oggetti in memoria per inviare segnali e gestire cascate. Tuttavia, se non ci sono cascate e nessun segnale, Django può prendere un percorso veloce ed eliminare oggetti senza recuperare in memoria. Per le eliminazioni di grandi dimensioni ciò può comportare un utilizzo della memoria notevolmente ridotto. Anche la quantità di query eseguite può essere ridotta.

https://docs.djangoproject.com/en/1.8/ref/models/querysets/#delete

Non faccio uso di segnali. Ho delle chiavi esterne sul modello che sto cercando di eliminare, ma non vedo perché Django abbia bisogno di caricare gli oggetti in memoria. Sembra che lo faccia, perché la mia memoria aumenta mentre la query viene eseguita.

Answer 1

È possibile importare la connessione al database Django e usarlo con sql per eliminare. Ho avuto lo stesso problema come te e questo mi aiuta molto. Ecco qualche frammento di (sto usando mysql a proposito, ma è possibile eseguire qualsiasi istruzione SQL):

from django.db import connection 
sql_query = "DELETE FROM usage WHERE date < '%s' ORDER BY date" % date 
cursor = connection.cursor() 
try: 
    cursor.execute(sql_query) 
finally: 
    c.close() 

Questo dovrebbe eseguire solo l'operazione di eliminazione su quel tavolo senza compromettere nessuna delle vostre relazioni modello.

Answer 2

È possibile utilizzare una funzione come questa per iterare su un numero enorme di oggetti senza usare troppa memoria:

import gc 

def queryset_iterator(qs, batchsize = 500, gc_collect = True): 
    iterator = qs.values_list('pk', flat=True).order_by('pk').distinct().iterator() 
    eof = False 
    while not eof: 
     primary_key_buffer = [] 
     try: 
      while len(primary_key_buffer) < batchsize: 
       primary_key_buffer.append(iterator.next()) 
     except StopIteration: 
      eof = True 
     for obj in qs.filter(pk__in=primary_key_buffer).order_by('pk').iterator(): 
      yield obj 
     if gc_collect: 
      gc.collect() 

quindi è possibile utilizzare la funzione per scorrere gli oggetti da eliminare:

for obj in queryset_iterator(HugeQueryset.objects.all()): 
    obj.delete() 

Per ulteriori informazioni è possibile controllare this blog post.