Migliorare le prestazioni di query di Django DB

Question

sto usando django/apache/sqlite3 e ho un modello di Django che assomiglia a questo:

class Temp_entry(models.Model): 
    dateTime = models.IntegerField() #datetime 
    sensor = models.IntegerField() # id of sensor 
    temp = models.IntegerField()  # temp as temp in Kelvin * 100 

Sto cercando di ottenere gli ultimi 300 articoli Temp_entry per posizionare in un grafico. Lo faccio in questo modo:

revOutsideTempHistory = Temp_entry.objects.filter(sensor=49).order_by('dateTime').reverse()[:300] 

Tuttavia, questa query richiede ~ 1 secondo. C'è un modo per migliorare questo? Ho scavato e ho trovato che order_by è orribile inefficiente, quindi spero che ci sia un'alternativa valida?

Un'alternativa che ho pensato, ma non riesco a capire come implementare, sarebbe quella di eseguire la query ogni 20 minuti e tenerla memorizzata nella cache, che sarebbe accettabile anche, in quanto i dati possono essere leggermente scaduti senza ammalarsi effetti.

Answer 1

Se caching è accettabile, deve sempre essere utilizzato. Qualcosa di simile:

from django.core.cache import cache 

cached = cache.get('temp_entries') 
if cached: 
    result = cached 
else: 
    result = Temp_entry.objects.filter(sensor=49).order_by('dateTime').reverse().values_list()[:300] 
    cache.set('temp_entries', result, 60*20) # 20 min 

Inoltre è possibile impostare db_indexes per le colonne appropriate

class Temp_entry(models.Model): 
    dateTime = models.IntegerField(db_index=True) #datetime 
    sensor = models.IntegerField(db_index=True) # id of sensor 
    temp = models.IntegerField()  # temp as temp in Kelvin * 100 

Answer 2

Beh, non so se le voci hanno sempre un dateTime aumento (cioè il dateTime è impostato quando si crea l'ingresso e non modificato), quindi non è necessario ordinare per data. Poiché saranno naturalmente in tale ordine nel database.

Answer 3

Probabilmente è necessario aggiungere altri indici nel database. Utilizzare la barra degli strumenti django-debug per ottenere l'SQL della query effettiva in esecuzione e utilizzare la funzione EXPLAIN per mostrare quali indici sta utilizzando. Per questa particolare query, immagino che sia necessario aggiungere un indice su (sensor, dateTime) - farlo direttamente nella shell del database.

Answer 4

Johnny Cache! http://packages.python.org/johnny-cache/ Funziona subito, e funziona bene!