Operazioni di archivio dati eccessive di piccole dimensioni del motore di app di Google

Question

Ho riscontrato problemi con il datastore del motore dell'app Google. Da quando è stato introdotto il nuovo modello di pricing, il costo di esecuzione della mia app è aumentato in maniera massiccia.

Il colpevole sembra essere "le piccole operazioni di Datastore", che arrivano a più di 20 milioni di operazioni al giorno!

Qualcuno ha avuto questo problema, non penso che sto facendo un numero eccessivo di ricerche chiave e ho solo 5000 utenti, con circa 10 - 20 richieste al minuto.

Grazie in anticipo!

Modifica

Ok ottenuto alcune statistiche, questi sono dopo intestano tre ore. Ecco quello che sto vedendo nel mio cruscotto, nella sezione di fatturazione:

e qui ci sono alcune delle statistiche:

Ovviamente ci sono un sacco di chiamate a datastore.get . Sto iniziando a pensare che sia il mio design a causare il problema. Quelli si corrispondono ai conti. Ogni utente ha un account, ma un account può essere uno di due tipi, per questo io uso la composizione. Quindi ogni entità contabile ha un link alla sua entità subaccount. Di conseguenza, quando eseguo una ricerca per utenti vicini, è necessario recuperare gli account utilizzando la query e quindi eseguire un get su ciascun account per ottenere il proprio account secondario. La prima richiesta nell'immagine delle statistiche è una chiamata che riceve 100 account e quindi deve fare un get su ognuno di essi. Avrei pensato che si trattava di una domanda molto leggera, ma immagino di no. E sono ancora confuso dal numero di piccoli ops datastore registrati nella mia dashboard.

Answer 1

Utilizzare sicuramente appstats come suggerisce Drew; indipendentemente da quale libreria stai usando, ti dirà quali operazioni stanno facendo i tuoi gestori. I colpevoli più probabili sono le query solo sulle chiavi e le operazioni di conteggio.

Answer 2

Il mio consiglio sarebbe quello di utilizzare AppStats (Python/Java) per tracciare il profilo del traffico e capire quale gestore sta generando le operazioni più datastore. Se pubblichi qui il codice, possiamo potenzialmente suggerire ottimizzazioni.

Answer 3

Non eseguire la scansione del datastore, utilizzare get (chiave) o get_by_id (id) o get_by_key_name (keyname) il più possibile.

Answer 4

Avete molte proprietà ReferenceProperty nei vostri modelli? Accedendoli, attiverai db.get per ogni proprietà a meno che non li precarichi. Questo innescherebbe 101 richieste db.get.

class Foo(db.Model): 
    user = db.ReferenceProperty(User) 

foos = Foo.all().fetch(100) 
for f in foos: 
    print f.user.name # this triggers db.get(parent=f, key=f.user)