Vai http.Get, concorrenza e "Connessione ripristinata dal peer"

Question

Ho tra 1000-2000 pagine web da scaricare da un server, e sto usando routine e canali per ottenere un'alta efficienza. Il problema è che ogni volta che eseguo il mio programma fino a 400 richieste falliscono con l'errore "connessione ripristinata dal peer". Raramente (forse 1 su 10 volte), nessuna richiesta fallisce.

Cosa posso fare per impedirlo?

Una cosa interessante è che quando ho eseguito questo programma su un server nello stesso paese del server in cui è ospitato il sito, 0 richieste non sono riuscite, quindi suppongo che ci sia qualche problema con il ritardo (dato che è ora in esecuzione su un server in un altro continente).

Il codice che sto usando è fondamentalmente solo una semplice richiesta http.Get (url), nessun parametro extra o un client personalizzato.

Answer 1

Il messaggio connection reset by peer indica che il server remoto ha inviato un RST di chiudere con forza la connessione, deliberatamente come un meccanismo per limitare le connessioni, o come risultato di una mancanza di risorse. In ogni caso è probabile che si aprano troppe connessioni o si ricolleghi troppo velocemente.

L'avvio delle connessioni 1000-2000 in parallelo è raramente il modo più efficiente per scaricare molte pagine, soprattutto se la maggior parte o tutte provengono da un singolo server. Se verifichi il throughput, troverai un livello di concorrenza ottimale molto più basso.

Si desidera inoltre impostare Transport.MaxIdleConnsPerHost in modo che corrisponda al proprio livello di concorrenza. Se MaxIdleConnsPerHost è inferiore al numero previsto di connessioni simultanee, le connessioni al server saranno spesso chiuse dopo una richiesta, solo per essere immediatamente riaperte - questo rallenterà significativamente i tuoi progressi e probabilmente raggiungerà i limiti di connessione imposti dal server.

Answer 2

Potrebbe essere possibile che il server da cui si scaricano le pagine Web abbia un qualche tipo di meccanismo di limitazione che impedisce più di un certo numero di richieste al secondo/(o simili) da un determinato IP ?. Prova a limitare fino a 100 richieste al secondo o ad aggiungere il sonno tra le richieste. La connessione ripristinata dal peer è fondamentalmente server che ti nega il servizio. (What does "connection reset by peer" mean?)

Answer 3

Ancora un principiante golang, speriamo che questo aiuti.

var netClient = &http.Client{} 

func init() { 
    tr := &http.Transport{ 
     MaxIdleConns:  20, 
     MaxIdleConnsPerHost: 20, 
    } 
    netClient = &http.Client{Transport: tr} 
} 

func foo() { 
    resp, err := netClient.Get("http://www.example.com/") 
}