Registrazione ad Amazon S3

Question

Qualcuno ha costruito, o qualcuno sa come costruire, un framework di registrazione che deposita i file di registro su Amazon S3?

Stiamo costruendo un'app SaaS e, naturalmente, abbiamo in programma di avere un milione di server e clienti. Mi piacerebbe semplificare l'intera struttura di registrazione. Al momento utilizziamo SLF4j per la registrazione e il logback come implementazione di registrazione effettiva.

Sto pensando che potremmo rilasciare un'altra implementazione che accumulerebbe i messaggi di log in memoria, li comprimerà e quindi li caricherà su S3. Se la connessione S3 fosse inattiva o lenta, l'implementazione farebbe accodare i file su disco. Un po 'come lo Scribe di Facebook.

La mia ipotesi è che ci vorrebbero quattro o cinque giorni per scrivere e testare questo. Se c'è un'altra implementazione là fuori, mi piacerebbe saperlo.

Answer 1

C'è un plugin per fluentd che memorizza i file su s3. (Fluentd è un bel "raccoglitore file di log")

Per saperne di più su di esso qui: http://docs.fluentd.org/articles/apache-to-s3

Se la connessione s3 è giù o rallentare la fluentd file buffer sarà tamponare l'uscita per voi.

Answer 2

Stavo cercando su google la stessa domanda. Ma a quanto pare sto leggermente meglio. So come accedere a S3. Non esiste una soluzione pronta per l'uso.

suggerisco qualcosa come miccia per s3 per montare lo syslog: https://github.com/s3fs-fuse/s3fs-fuse

Ora tutto ciò che serve è quello di montarlo anche nel sistema di log-parser che può essere qualsiasi del sistema off-the-shelf che possono leggere i registri di una directory.

Questo è quello che mi è venuto in mente.

Quello che sto ancora cercando prima di implementare è il problema di prestazioni di tale registrazione su S3 poiché AWS ha i suoi problemi. C'è stata una discussione sull'impostazione del blocco/dimensione del file per migliorare le prestazioni e ridurre i costi di lettura/scrittura. Spero che aiuti un'altra anima persa.