Spostamento di 1 milione di file di immagine su Amazon S3

Question

Eseguo un sito di condivisione di immagini con oltre 1 milione di immagini (~ 150 GB). Attualmente sto memorizzandoli su un disco rigido nel mio server dedicato, ma sto rapidamente esaurendo lo spazio, quindi mi piacerebbe trasferirli su Amazon S3.

Ho provato a fare un RSYNC e ci sono voluti RSYNC in un giorno solo per scansionare e creare l'elenco dei file di immagine. Dopo un altro giorno di trasferimento, è stato completato solo al 7% e ho rallentato il mio server fino alla scansione, quindi ho dovuto annullare.

C'è un modo migliore per fare questo, come GZIP su un altro disco rigido locale e quindi trasferire/decomprimere quel singolo file?

Mi chiedo anche se abbia senso archiviare questi file in più sottodirectory o è bello avere tutti i milioni + file nella stessa directory?

Answer 1

1. Dato che non esistono i file (ancora) su S3, inviarli come file di archivio dovrebbe essere più veloce rispetto all'utilizzo di un protocollo di sincronizzazione.

2. Tuttavia, la compressione dell'archivio non è di grande aiuto (se non del tutto) per i file di immagine, presupponendo che i file di immagine siano già memorizzati in un formato compresso come JPEG.

3. trasmissione ~ 150 Gbyte di dati sta per consumare un sacco di larghezza di banda di rete per un lungo periodo di tempo. Questo sarà lo stesso se si tenta di utilizzare HTTP o FTP invece di RSYNC per eseguire il trasferimento. Un trasferimento offline sarebbe meglio se possibile; per esempio. invio di un disco rigido o di un set di nastri o DVD.

4. Mettere un milione di file in una directory appartamento è una cattiva idea dal punto di vista delle prestazioni. mentre alcuni file system sarebbe far fronte a questo abbastanza bene con tempi di ricerca O(logN) nome del file, gli altri fanno non con il nome del file O(N) ricerca. Moltiplicare che per N accedere a tutti i file in una directory. Un ulteriore problema è che le utility che devono accedere ai file in ordine di nomi di file possono rallentare in modo significativo se devono ordinare un milione di nomi di file. (Questo potrebbe in parte spiegare perché rsync ha impiegato 1 giorno per fare l'indicizzazione.)

5. Mettere tutti i file di immagine in una directory è una cattiva idea dal punto di vista gestionale; per esempio. per fare i backup, l'archiviazione di roba, spostando i dati, l'espansione a più dischi o file system, ecc

Answer 2

Un'opzione che è possibile utilizzare invece di trasferire i file sulla rete è di metterli su un hard disk e spedirli al servizio di Amazon import/export. Non dovete preoccuparvi di saturare la connessione del server di rete ecc

Answer 3

Una possibilità potrebbe essere quella di eseguire la migrazione in modo pigro.

• Tutte le nuove immagini vanno su Amazon S3.
• Eventuali richieste di immagini non ancora su Amazon attivano la migrazione di quella immagine in Amazon S3. (mettilo in coda)

Questo dovrebbe abbastanza rapidamente ottenere tutte le immagini recenti o comunemente recuperate spostate su Amazon e quindi ridurre il carico sul server. È quindi possibile aggiungere un'altra attività che migra lentamente gli altri quando il server è meno occupato.