Elaborazione ritardata coda/messaggio in Storm

Question

Nella topologia Storm, durante l'elaborazione di uno stream, desidero ritardare l'elaborazione di alcuni messaggi fino ad alcuni punti futuri nel tempo. Quali sono alcune opzioni ragionevoli per farlo?

Finora, ho pensato al seguente:

• Utilizzo di Java di Thread.sleep. (Tuttavia, sulla base di alcune discussioni, questo non è un metodo consigliato per utilizzare efficacemente le risorse di Storm.)
• Utilizzare una coda ritardata ...
  • In particolare, provare java.util.concurrent.DelayQueue.
  • Esistono altre implementazioni che vale la pena provare?
• Storm ha qualche API per ritardare un messaggio che ho trascurato?
• ZeroMQ fornisce un'API di messaggistica in ritardo che Storm (se modificata) potrebbe sfruttare?

Answer 1

Utilizzare una coda messaggi esterna per implementare una coda di ritardo.

Dal Storm è fault-tolerant e distribuito in orizzontale, non avrebbe molto senso per prendere una coda di messaggi che si adatta quello stile, come ad esempio:

• Kafka
• Amazon SQS
• RabbitMQ

Answer 2

Utilizziamo tuple di topologia tick per elaborare in blocco le tuple in sospeso. In pratica li memorizza semplicemente in memoria su ogni tupla normale e quando riceve una tupla di tick li elabora in memoria/indicizzazione utilizzando l'elaborazione bulk/pipeline.

Utilizziamo anche redis nei casi in cui abbiamo enormi picchi di volume, se un picco di volume ha rilevato tutte le tuple reindirizzate all'archiviazione redis locale su ciascuno degli host e quindi vengono reinserite nell'elaborazione della topologia dopo che il volume si è esaurito. La nostra situazione potrebbe non essere applicabile al tuo, solo il mio 2c.