Modo efficiente per inserire in blocco con get_or_create() in Django (SQL, Python, Django)

Question

Esiste un modo più efficiente per farlo?

for item in item_list: 
    e, new = Entry.objects.get_or_create(
     field1 = item.field1, 
     field2 = item.field2, 
    ) 

Answer 1

Non puoi fare inserzioni di massa decenti con get_or_create (o anche creare), e non c'è API per farlo facilmente.

Se la tua tabella è abbastanza semplice che creare righe con SQL raw non è troppo doloroso, non è troppo difficile; qualcosa di simile:

INSERT INTO site_entry (field1, field2) 
(
     SELECT i.field1, i.field2 
     FROM (VALUES %s) AS i(field1, field2) 
     LEFT JOIN site_entry as existing 
       ON (existing.field1 = i.field1 AND existing.field2 = i.field2) 
     WHERE existing.id IS NULL 
) 

dove% s è una stringa come ("field1, field2"), ("field3, field4"), ("field5, field6") che dovrete creare e fuggire correttamente da soli.

Answer 2

Dipende da ciò a cui si mira. È possibile utilizzare la funzione loaddata di manage.py per caricare i dati in un formato appropriato (JSON, XML, YAML, ...).

Vedere anche this discussion.

Answer 3

Direi che non c'è.

Ma mi chiedo che tipo sono i vostri item s, se hanno field1 e field2 come attributi. Sembra che esista un'altra classe che rappresenta una voce ma non è derivata da models.Model. Forse puoi omettere questa classe e creare immediatamente le istanze Entry invece di creare quegli elementi.

Answer 4

Se non sei sicuro che le cose nel tuo item_list esistano già nel tuo DB e hai bisogno degli oggetti del modello, allora get_or_create è sicuramente la strada da percorrere.

Se si conoscono le voci non sono nel vostro DB, si sarebbe molto meglio fare:

for item in item_list: 
    new = Entry.objects.create(
     field1 = item.field1, 
     field2 = item.field2, 
    ) 

E se non avete bisogno di oggetti, quindi basta ignorare il ritorno dalla chiamata di funzione. Non accelererà le cose di DB, ma aiuterà con la gestione della memoria se questo è un problema.

Se non si è certi che i dati siano già nel DB, ma su entrambi i campi è presente un flag unique=True, il DB imporrà l'univocità e sarà possibile rilevare l'eccezione e andare avanti. Ciò impedirà un ulteriore impatto del database evitando il tentativo di selezionare l'oggetto esistente.

from django.db import IntegrityError 

for item in item_list: 
    try: 
     new = Entry.objects.create(
      field1 = item.field1, 
      field2 = item.field2, 
     ) 
    except IntegrityError: 
     continue 

È possibile aumentare la velocità in entrambi i casi gestendo manualmente le transazioni. Django creerà e commetterà automaticamente una transazione per ogni salvataggio, ma fornisce alcuni decoratori che aumenteranno notevolmente l'efficienza se saprai che eseguirai molti salvataggi DB in una particolare funzione. I documenti di Django fanno un lavoro migliore per spiegare tutto questo di quanto posso qui, ma probabilmente vorresti prestare particolare attenzione a django.db.transaction.commit_on_success

Answer 5

Dal 1.4 si può fare bulk_create

Vedi the docs

* Non prestare attenzione agli avvertimenti anche se (più importante è che il metodo del modello save() non sarà chiamato, e quindi la pre_save e i segnali post_save non saranno inviati.) *