Asyncio RuntimeError: Event Loop è chiuso

Question

Sto provando a fare un sacco di richieste (~ 1000) usando Asyncio e la libreria aiohttp, ma sto incontrando un problema su cui non riesco a trovare molte informazioni.

Quando eseguo questo codice con 10 URL, funziona perfettamente. Quando lo eseguo con 100+ urls, si rompe e mi dà l'errore RuntimeError: Event loop is closed.

import asyncio 
import aiohttp 


@asyncio.coroutine 
def get_status(url): 
    code = '000' 
    try: 
     res = yield from asyncio.wait_for(aiohttp.request('GET', url), 4) 
     code = res.status 
     res.close() 
    except Exception as e: 
     print(e) 
    print(code) 


if __name__ == "__main__": 
    urls = ['https://google.com/'] * 100 
    coros = [asyncio.Task(get_status(url)) for url in urls] 
    loop = asyncio.get_event_loop() 
    loop.run_until_complete(asyncio.wait(coros)) 
    loop.close() 

L'analisi dello stack può essere trovato here.

Qualsiasi aiuto o intuizione sarebbe molto apprezzato visto che ho battuto la testa per ore. Ovviamente questo suggerirebbe che un ciclo di eventi è stato chiuso che dovrebbe essere ancora aperto, ma non vedo come sia possibile.

Answer 1

Hai ragione, loop.getaddrinfo utilizza un ThreadPoolExecutor per eseguire socket.getaddrinfo in una discussione.

Si sta usando asyncio.wait_for con un timeout, il che significa che res = yield from asyncio.wait_for... aumenterà un asyncio.TimeoutError dopo 4 secondi. Quindi le corineutine get_status restituiscono None e gli arresti del ciclo. Se un lavoro termina dopo, tenterà di pianificare una richiamata nel ciclo degli eventi e solleva un'eccezione poiché è già chiusa.

Answer 2

Il bug è archiviato come https://github.com/python/asyncio/issues/258 Restate sintonizzati.

Come soluzione rapida suggerisco di utilizzare l'esecutore personalizzato, ad es.

loop = asyncio.get_event_loop() 
executor = concurrent.futures.ThreadPoolExecutor(5) 
loop.set_default_executor(executor) 

Prima di terminare il programma si prega di fare

executor.shutdown(wait=True) 
loop.close()