Trasferimento di dati di grandi dimensioni tra server veloci

Question

Questa è una domanda comune, ma su Google questo dà un sacco di schifezze.

come volumi di dati sono sempre più in alto, tutti insieme con potenza di elaborazione & funzionalità cloud, stiamo assistendo ad un crescente bisogno di tecnologie di trasmissione veloce dei dati in grado di scatenare la potenza di tutti questi dati disponibili attraverso la diffusione/movimento/condivisione attraverso diversi server/client.

Nel nostro caso, stiamo registrando dati binari in tempo reale (50 concerti al giorno) e dobbiamo caricarlo/scaricarlo ogni giorno da/per gli abbonati (sì, tutto è necessario localmente da ciascun server di sottoscrizione, per l'informatica e vari dati roba analisi)

Quindi, per mettere Manca poco, quali sono le scelte disponibili oggi per trasferire molti concerti di dati veramente veloce tra le finestre server remoti (VPS, Nube, con un "abbastanza" bandwitdth coerente - (fibra ottica messa da parte))

Questa è una domanda aperta. Ogni idea è benvenuta indipendentemente dal protocollo.

Answer 1

La sfida di inviare e ricevere i dati sulla rete è multipla.

1. La larghezza di banda di rete è il fattore più limitante e non c'è quasi nulla si può fare per questo a livello di applicazione (ad eccezione impacco occasionale i dati e anche in quel caso il rapporto di compressione determina il guadagno). Quindi la rete più veloce è la prima scelta.

2. Alcuni protocolli sono più adatti per il trasferimento di determinati tipi di file/dati. Ad esempio, http è un protocollo basato su testo e non particolarmente adatto per contenuti binari e di grandi dimensioni. Ma dal momento che è il protocollo web più popolare che richiede l'invio di contenuti binari sul filo, tecniche come encoding and chunking si sono evolute. HTTP non è davvero la scelta se i tuoi dati sono nell'ordine di GB che è il tuo caso.

3. FTP FTP è il protocollo più utilizzato per trasferire i file sulla rete ed è specificamente progettato per il trasferimento di file. Esistono diverse estensioni di FTP come GridFTP, bbftp che sono molto specificamente progettate per trasferimenti di dati di grandi dimensioni.

4. BitTorrents è un'altra opzione che può essere esplorata. Facebook utilizza BitTorrents per inviare i file binari ai server (decine di migliaia di numeri).

È problema è molto aperta finita e mi sono limitato dalla mia esperienza :). Here is link Ho trovato le offerte di trasferimenti di dati di grandi dimensioni. Spero che questo ti aiuti.