Coda messaggi basata su Memcache?

Question

Sto lavorando a una partita multiplayer e ha bisogno di una coda di messaggi (ad esempio, messaggi in entrata, messaggi in uscita, senza duplicati o messaggi eliminati supponendo che non ci siano sgomberi della cache imprevisti). Qui ci sono le code memcache basati io sappia:

• MemcacheQ: http://memcachedb.org/memcacheq/
• Starling: http://rubyforge.org/projects/starling/
• Depcached: http://www.marcworrell.com/article-2287-en.html
• Sparrow: http://code.google.com/p/sparrow/

ho imparato il concetto della coda memcache da this blog post:

Tutti i messaggi vengono salvati con un numero intero come chiave. C'è una chiave che ha la chiave successiva e una che ha la chiave del messaggio più vecchio nella coda. Per accedere a questi il ​​metodo di incremento/decremento viene usato come atomico, quindi ci sono due chiavi che fungono da blocchi. Vengono incrementati e, se il valore restituito è 1, il processo ha il blocco, altrimenti continua ad aumentare. Una volta che il processo è finito, riporta il valore a 0. Semplice ma efficace. Un avvertimento è che il numero intero sarà overflow, quindi c'è qualche logica in posto che imposta i tasti usati su 1 una volta che siamo vicini a quel limite. Poiché l'operazione di incremento è atomica, il blocco è necessario solo se vengono utilizzati due o più memcaches (per ridondanza), per mantenere quelli sincronizzati.

La mia domanda è, c'è un servizio di coda messaggi basato su memcache che può essere eseguito su App Engine?

Answer 1

Sarei molto attento a utilizzare Google App Engine Memcache in questo modo. Hai ragione a preoccuparti degli "sfratti di cache inaspettati".

Google si aspetta di utilizzare il memcache per caching dati e non memorizzazione esso. Non garantiscono di mantenere i dati nella cache. Dal GAE Documentation:

Per impostazione predefinita, gli elementi non scadono mai, anche se elementi possono essere sfrattati a causa di memoria pressione .

Edit: C'è sempre Amazon's Simple Queueing Service. Tuttavia, questo potrebbe non soddisfare i livelli di prezzo/prestazioni come:

1. Ci sarebbe la latenza della chiamata dai server di Google ad Amazon.
2. Si finirebbe per pagare due volte per tutto il traffico dati - pagando per lasciare Google e poi pagare di nuovo per andare in Amazon.

Answer 2

Fino a quando Google non implimenta una coda di lavoro adeguata, perché non utilizzare il data-store? Come altri hanno già detto, memcache è solo una cache e potrebbe perdere elementi di coda (che sarebbe .. cattivo)

Il data-store dovrebbe essere più che abbastanza veloce per quello che ti serve - avresti solo un semplice modello di lavoro , che sarebbe più flessibile di memcache in quanto non sei limitato a coppie chiave/valore

Answer 3

Se sei soddisfatto della possibilità di perdere dati, con tutti i mezzi andare avanti.Tenete a mente, tuttavia, che sebbene memcache abbia generalmente una latenza inferiore a quella del datastore, come qualsiasi altra cosa, ne risentirà se si ha un alto tasso di operazioni atomiche che si desidera eseguire su un singolo elemento. Questo non è un problema di archivio dati: è semplicemente un problema di serializzazione dell'accesso.

In caso contrario, SQS di Amazon sembra un'opzione valida.

Answer 4

ho iniziato una semplice Python Memcached coda, potrebbe essere utile: http://bitbucket.org/epoz/python-memcache-queue/

Answer 5

Perché non utilizzare Task coda:
https://developers.google.com/appengine/docs/python/taskqueue/
https://developers.google.com/appengine/docs/java/taskqueue/

Sembra di risolvere il problema senza la perdita probabile dei messaggi nella coda basata su Memcached.