Scaricamento contemporaneo dei dati JSON dai servizi remoti

Question

Sto prelevando dati JSON da diversi server remoti contemporaneamente su HTTP, utilizzando un servizio WCF su entrambi gli endpoint client e server. Sto notando che per ogni richiesta successiva che inizia in modo asincrono il tempo richiesto da una richiesta HTTP è in genere crescente, anche se la quantità di dati non aumenta necessariamente. In altre parole, se mi metto 12 thread pool di thread (usando Funz <> .BeginInvoke) allora ogni richiesta, dopo essere stato cronometrato, sta mostrando nei miei ceppi come tale:

:HttpRequest invoked. Elapsed: 325ms 
    :HttpRequest invoked. Elapsed: 27437ms 
    :HttpRequest invoked. Elapsed: 28642ms 
    :HttpRequest invoked. Elapsed: 28496ms 
    :HttpRequest invoked. Elapsed: 32544ms 
    :HttpRequest invoked. Elapsed: 38073ms 
    :HttpRequest invoked. Elapsed: 41231ms 
    :HttpRequest invoked. Elapsed: 47914ms 
    :HttpRequest invoked. Elapsed: 45570ms 
    :HttpRequest invoked. Elapsed: 61602ms 
    :HttpRequest invoked. Elapsed: 53567ms 
    :HttpRequest invoked. Elapsed: 79081ms 

il processo è abbastanza semplice. Sto semplicemente iniziando ogni richiesta in un ciclo e poi chiamando .WaitAll() su tutte le operazioni prima di utilizzare i dati consolidati.

Sembra che le richieste Http stiano prendendo più tempo di quanto dovrebbero anche con piccole quantità di dati. In effetti, la differenza tra piccole e grandi quantità di dati appare complessivamente minima. Questo tipo di collo di bottiglia sarebbe dovuto a richieste HTTP simultanee che dovevano condividere larghezza di banda, oppure esiste un problema di threading/cambio di contesto qui? Sto solo cercando di essere indicato nella giusta direzione.

EDIT - Solo per chiarezza, ho corso lo stesso processo sincrono ed ecco i risultati:

:HttpRequest invoked. Elapsed: 20627ms 
    :HttpRequest invoked. Elapsed: 16288ms 
    :HttpRequest invoked. Elapsed: 2273ms 
    :HttpRequest invoked. Elapsed: 4578ms 
    :HttpRequest invoked. Elapsed: 1920ms 
    :HttpRequest invoked. Elapsed: 564ms 
    :HttpRequest invoked. Elapsed: 1210ms 
    :HttpRequest invoked. Elapsed: 274ms 
    :HttpRequest invoked. Elapsed: 145ms 
    :HttpRequest invoked. Elapsed: 21447ms 
    :HttpRequest invoked. Elapsed: 27001ms 
    :HttpRequest invoked. Elapsed: 1957ms 

Il tempo totale (in quanto la sua sincrono) è salito, ma è possibile vedere chiaramente che ogni singola richiesta è generalmente più veloce. Sfortunatamente non conosco alcun modo per isolare il problema, ma la mia ipotesi è che sia un problema di condivisione della larghezza di banda tra i thread.

Così ho qualche domanda più semplice che ho è:

1) Se io uso un filo non di thread, sarebbe questa migliorare

2) Dovrei raggruppare le operazioni in pochi discussioni, piuttosto di ogni richiesta ha il suo?

3) Si tratta di un problema standard quando si tenta di scaricare contemporaneamente dati su Http?

Answer 1

La migliore risposta a questa domanda che in ultima analisi, si avvicinò con provenivano da questo link:

http://blogs.msdn.com/b/wenlong/archive/2010/02/11/why-are-wcf-responses-slow-and-setminthreads-does-not-work.aspx

che si applica se si chiama lo stesso metodo servive ripetutamente.

Tramendo ThreadPool.SetMinThreads() su client e server, sono riuscito a ottenere risultati migliori.

Tuttavia ci sono ancora molti problemi di lentezza con WCF e trasferimento su HTTP che non ho davvero ottenuto fino in fondo.

Answer 2

Come da domanda this, esiste un'impostazione che controlla quante richieste HTTP simultanee possono essere fatte. Inoltre, dovresti utilizzare il metodo BeginGetResponse su HttpWebRequest per il download simultaneo perché è meno costoso della creazione di thread. Guarda here per esempi.

Answer 3

Potrebbe essere correlato alla modalità di concorrenza del servizio. Controlla http://msdn.microsoft.com/en-us/library/system.servicemodel.concurrencymode.aspx e assicurati che il servizio non sia a thread singolo.