Come implementare un programma python basato su eventi di lunga durata?

Question

Ho una serie di attività di manutenzione per un'applicazione WSGI Python che sono un po 'troppo complesse per un crontab (i lavori devono essere eseguiti a frequenze derivate dalla dimensione della coda di lavoro, gestire un pool di connessioni a un gruppo di istanze EC2 , eccetera).

Come devo implementare un programma python basato su eventi di lunga durata? Non ho mai avuto bisogno di questa funzionalità prima, quindi non sono nemmeno sicuro di cosa google.

Answer 1

La maggior parte dei siti Python moderni e grandi utilizza Celery per questo tipo di lavoro. È una coda di attività distribuita che supporta anche la pianificazione delle attività.

Anche se probabilmente un po 'pesante per un sito piccolo, crescerà con te. Sto cercando di implementarlo da solo (sans Rabbit) a breve.

Recentemente ho trovato un'altra scelta per gli utenti di django, django-tasks che si concentra su un numero inferiore di lavori di elaborazione batch. C'è anche django-ztask usando zeromq.

Addendum: appena trovato gearman che ha python bindings.