Perché il mio server Hello World go viene schiacciato da ApacheBench?

Question

Ho un paio di server HTTP incredibilmente di base e tutti presentano questo problema

$ ab -c 1000 -n 10000 http://127.0.0.1:8000/ 
This is ApacheBench, Version 2.3 <$Revision: 1604373 $> 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 

Benchmarking 127.0.0.1 (be patient) 
Completed 1000 requests 
Completed 2000 requests 
Completed 3000 requests 
Completed 4000 requests 
Completed 5000 requests 
apr_socket_recv: Connection refused (61) 
Total of 5112 requests completed 

Con un valore di concorrenza minore, le cose continuano a cadere. Per me, il problema sembra presentarsi intorno al marchio 5k-6K solito:

$ ab -c 10 -n 10000 http://127.0.0.1:8000/ 
This is ApacheBench, Version 2.3 <$Revision: 1604373 $> 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 

Benchmarking 127.0.0.1 (be patient) 
Completed 1000 requests 
Completed 2000 requests 
Completed 3000 requests 
Completed 4000 requests 
Completed 5000 requests 
Completed 6000 requests 
apr_socket_recv: Operation timed out (60) 
Total of 6277 requests completed 

E infatti, è possibile eliminare la concorrenza del tutto e il problema ancora (a volte) accade:

$ ab -c 1 -n 10000 http://127.0.0.1:8000/ 
This is ApacheBench, Version 2.3 <$Revision: 1604373 $> 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 

Benchmarking 127.0.0.1 (be patient) 
Completed 1000 requests 
Completed 2000 requests 
Completed 3000 requests 
Completed 4000 requests 
Completed 5000 requests 
Completed 6000 requests 
apr_socket_recv: Operation timed out (60) 
Total of 6278 requests completed 

I non posso fare a meno di chiedermi se sto colpendo qualche tipo di limite del sistema operativo da qualche parte? Come lo direi? E come potrei mitigare?

Answer 1

In breve, si sta esaurendo le porte.

L'intervallo di porte temporanee predefinito su osx è 49152-65535, che è solo 16.383 porte. Poiché ogni richiesta ab è (senza keepalive nei primi esempi), ogni nuova richiesta richiede un'altra porta.

Come ogni porta viene utilizzata, viene messa in coda dove attende il tcp "Maximum Segment Lifetime", che è configurato per essere di 15 secondi su osx. Quindi se usi più di 16.383 porte in 15 secondi, il sistema operativo ti farà rallentare ulteriormente su ulteriori connessioni. A seconda di quale processo esaurisce prima le porte, si ottengono errori di connessione dal server o si blocca da ab.

è possibile attenuare questo utilizzando un generatore di http/1.1 carico capace come wrk, o utilizzando il keepalive (-k) opzione per la ab, in modo che le connessioni sono riutilizzati in base alle impostazioni concorrenza dello strumento.

Ora, il codice server utilizzato per il benchmarking fa così poco, che il generatore di carico viene tassato tanto quanto il sever stesso, con il sistema operativo locale e lo stack di rete che probabilmente forniscono un buon contributo. Se si desidera eseguire il benchmark di un server http, è preferibile eseguire un lavoro significativo da più client non in esecuzione sulla stessa macchina.