Conversione Django QuerySet al panda dataframe

Question

Ho intenzione di convertire un Django QuerySet ad un panda DataFrame come segue:

qs = SomeModel.objects.select_related().filter(date__year=2012) 
q = qs.values('date', 'OtherField') 
df = pd.DataFrame.from_records(q) 

Funziona, ma c'è un modo più efficiente?

Answer 1

Dal punto di vista di Django (non ho familiarità con pandas) questo va bene. La mia unica preoccupazione è che se si dispone di un numero molto elevato di record, è possibile che si verifichino problemi di memoria. Se questo fosse il caso, sarebbe necessario qualcosa sulla falsariga di questo memory efficient queryset iterator. (Il frammento come scritto potrebbe richiedere una riscrittura per consentire l'uso intelligente di .values()).

Answer 2

import pandas as pd 
import datetime 
from myapp.models import BlogPost 

df = pd.DataFrame(list(BlogPost.objects.all().values())) 
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values())) 

# limit which fields 
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug'))) 

Quanto sopra è come faccio la stessa cosa. L'aggiunta più utile è specificare i campi a cui sei interessato. Se è solo un sottoinsieme dei campi disponibili a cui sei interessato, ciò darebbe un miglioramento delle prestazioni che immagino.

Answer 3

È forse possibile utilizzare model_to_dict

import datetime 
from django.forms import model_to_dict 
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs) 
df.head() 

Answer 4

Django Pandas risolve questo piuttosto ordinatamente: https://github.com/chrisdev/django-pandas/

Dal README:

class MyModel(models.Model): 
    full_name = models.CharField(max_length=25) 
    age = models.IntegerField() 
    department = models.CharField(max_length=3) 
    wage = models.FloatField() 

from django_pandas.io import read_frame 
qs = MyModel.objects.all() 
df = read_frame(qs)