Lavoratore di sedano: come consumare da tutte le code?

Question

Ho

• set CELERY_CREATE_MISSING_QUEUES = True
• non definiti CELERY_QUEUES
• definito CELERY_DEFAULT_QUEUE = 'default' (di tipo diretto)
• una classe router personalizzato che crea percorsi al volo, come mostrato in questo biglietto (https://github.com/celery/celery/issues/150) .

Vedo che viene creata la nuova coda nel percorso restituito dal router personalizzato che presumo sia a causa di CELERY_CREATE_MISSING_QUEUES.

Ora nel nodo operaio che ho eseguito, non passare l'argomento -Q e consuma solo dalla coda di 'default' che sembra essere in linea con la documentazione -

Di default consumerà da tutte le code definite nell'impostazione CELERY_QUEUES (che, se non specificato, si imposta automaticamente nella coda con nome sedano).

C'è un modo per far sì che il mio nodo di lavoro consumi da TUTTE le code comprese quelle create dinamicamente?

Grazie,

Answer 1

Il lavoratore deve essere detto su queste code create automaticamente o in modo dinamico, quindi è necessario un modo per ottenere questi nomi di coda e memorizzarli forse quando si crea loro o farli forse da rabbitmqctl list_queues se stiamo usando RabbitMQ come broker, e per esempio aggiungiamo un gestore di segnali per aggiungere queste code dinamiche ai lavoratori da cui consumare.

Ad esempio, utilizzando celeryd_after_setup segnale:

from celery.signals import celeryd_after_setup 

@celeryd_after_setup.connect 
def add_dynamic_queue(sender, instance, **kwargs): 
    # get the dynamic queue, maybe stored somewhere 
    queue = 'dynamic_queue' 
    instance.app.amqp.queues.select_add(queue) 

Se avete sempre nuove code dinamiche create, è anche possibile comandare i lavoratori a iniziare a consumare da queste code in fase di esecuzione utilizzando:

#command all workers to consume from the 'dynamic_queue' queue 
app.control.add_consumer('dynamic_queue', reply=True) 

# command specific workers 
app.control.add_consumer('dynamic_queue', reply=True, destination=[w1@example]) 

See Adding Consumers.

Spero che questo aiuti, modifico la domanda quando avrò più informazioni su questo.