il modo più efficiente per ottenere, modificare e mettere un gruppo di entità con ndb

Question

nella mia app ho alcune operazioni batch che eseguo. sfortunatamente questo a volte richiede un tempo infinito per aggiornare 400-500 entità. quello che ho sono tutte le chiavi di entità, ho bisogno di ottenerle, aggiornare una proprietà e salvarle nell'archivio dati e il loro salvataggio può richiedere fino a 40-50 secondi, che non è quello che sto cercando.

malato semplificare la mia modello per spiegare quello che faccio (che è abbastanza semplice comunque):

class Entity(ndb.Model): 
    title = ndb.StringProperty() 

keys = [key1, key2, key3, key4, ..., key500] 

entities = ndb.get_multi(keys) 

for e in entities: 
    e.title = 'the new title' 

ndb.put_multi(entities) 

ottenere e modifica non prende troppo tempo. Ho provato a get_async a entrare in un tasklet e qualsiasi altra cosa è possibile che cambia solo se il get o il forloop richiede più tempo.

ma ciò che mi preoccupa è che una put richiede fino a 50 secondi ...

qual è il modo più efficace per fare questa operazione (s) in una discreta quantità di tempo. ovviamente so che dipende da molti fattori come la complessità dell'entità, ma il tempo necessario per metterlo è davvero oltre il limite accettabile per me.
ho già provato operazioni asincrone, tasklet ...

Answer 1

Mi chiedo se fare piccoli gruppi di es. 50 o 100 entità sarà più veloce. Puoi provare a eseguire contemporaneamente questi tasklet

Ti consiglio anche di guardare questo con Appstats per vedere se questo mostra qualcosa di sorprendente

Infine, supponendo che questo usi l'HRD, è possibile che vi sia un limite al numero di gruppi di entità per lotto. Questo limite predefinito è molto basso. Prova a sollevarlo.

Answer 2

Suona come è stato progettato per MapReduce. Puoi farlo velocemente, ottenendo e modificando simultaneamente tutte le entità allo stesso tempo, ridimensionate su più istanze del server. Il costo sale però usando più istanze.

Answer 3

Presumo che tu abbia il design dell'entità che desideri (cioè non ti chiederò cosa stai cercando di fare e come forse dovresti avere una grande entità invece di un gruppo di quelli piccoli che devi aggiornare tutto il tempo). Perché non sarebbe molto carino. (=

Cosa succede se si è utilizzata la Coda di attività? È possibile creare più attività e ciascuna attività può assumere come parametri URL le chiavi che è responsabile dell'aggiornamento e la proprietà e il valore da impostare. fino a pezzi gestibili e la richiesta dell'utente può tornare immediatamente mentre il lavoro avviene in background? Funzionerebbe?