Utilizzo di Django ORM nei thread ed evitando l'eccezione "too many clients" utilizzando BoundedSemaphore

Question

Lavoro sul comando manage.py che crea circa 200 thread per controllare gli host remoti. La configurazione del mio database mi consente di utilizzare 120 connessioni, quindi ho bisogno di utilizzare un qualche tipo di pool. Ho provato con filo separato, come questo

class Pool(Thread): 
    def __init__(self): 
     Thread.__init__(self)   
     self.semaphore = threading.BoundedSemaphore(10) 

    def give(self, trackers): 
     self.semaphore.acquire() 
     data = ... some ORM (not lazy, query triggered here) ... 
     self.semaphore.release() 
     return data 

passo istanza di questo oggetto per ogni thread check-, ma ancora ottenere "OperationalError: FATAL: sorry, troppi clienti già" dentro oggetto Pool dopo init-ing 120 fili. Mi aspetto che verranno aperte solo 10 connessioni al database e che i thread attenderanno lo slot del semaforo gratuito. Posso controllare che il semaforo funzioni commentando "release()", in tal caso solo 10 thread funzioneranno e altri attenderanno fino alla terminazione dell'app.

Per quanto ho capito, ogni thread apre una nuova connessione al database anche se la chiamata effettiva è all'interno di thread diversi, ma perché? C'è un modo per eseguire tutte le query del database all'interno di un solo thread?

Answer 1

L'ORM di Django gestisce le connessioni del database nelle variabili locali del thread. Quindi ogni thread diverso che accede all'ORM creerà la propria connessione. Lo puoi vedere nelle prime righe di django/db/backends/__init__.py.

Se si desidera limitare il numero di connessioni database effettuate, è necessario limitare il numero di thread diversi che effettivamente accedono all'ORM. Una soluzione potrebbe essere quella di implementare un servizio che deleghi le richieste ORM a un pool di thread ORM dedicati. Per trasmettere le richieste e i loro risultati da e ad altri thread dovrai implementare una sorta di meccanismo di trasmissione dei messaggi. Dato che questo è un tipico problema produttore/consumatore, i documenti Python sulla thread dovrebbero fornire alcuni suggerimenti su come ottenerlo.

Modifica: Ho cercato su google "pool di connessioni django". Ci sono molte persone che si lamentano del fatto che Django non fornisce un vero e proprio pool di connessioni. Alcuni di questi sono riusciti a integrare un pacchetto di pool separato. Per PostgreSQL, darei un'occhiata al middleware pgpool.