Quanto sono affidabili i file di registro di accesso amazon s3?

Question

Ci stiamo spostando su s3 per iniziare a servire alcuni dei contenuti generati staticamente per la nostra app Web. Abbiamo esaminato un meccanismo per la creazione di un sistema metrico sull'utilizzo del nostro sito e stavamo pianificando l'analisi dei log di accesso per S3 passando informazioni aggiuntive da registrare sulle richieste GET del contenuto. Ci siamo imbattuti il ​​seguente entry in the developers guide:

Best Effort registro server di consegna

La funzione di accesso di registrazione server è stato progettato per best effort. È può aspettare che la maggior parte delle richieste nei confronti di un secchio che sia configurato correttamente per la registrazione si tradurrà in un registro disco consegnato, e che la maggior parte i record di registro sarà consegnato entro poche ore del tempo in cui sono stati registrati.

Tuttavia, la funzionalità di registrazione del server è offerta su una base ottimale. La completezza e la tempestività dello server non sono garantite per la registrazione del server . Il registro per una particolare richiesta potrebbe essere recapitato a molto tempo dopo che la richiesta è stata effettivamente elaborata, oppure potrebbe non essere recapitata a . Lo scopo dei registri del server è di dare al proprietario del bucket un'idea della natura del traffico contro il proprio bucket. Non è destinato a essere una contabilità completa di tutte le richieste.

Ci chiediamo cosa hanno provato le altre persone in merito alla consegna dei log di accesso? La nostra alternativa è costruire un server HTTP e provare a misurare le metriche con una chiamata diversa, ma pensiamo che l'analisi dei file di log potrebbe rivelarsi meno efficace. Vorremmo sapere se le persone hanno visto situazioni in cui la consegna non ha avuto luogo per cercare di valutare quanto accurato possiamo sperare di essere perché alcune metriche che raccogliamo sono utilizzate in alcuni dei nostri processi aziendali.

Answer 1

Sono rimasto sorpreso di quanto i miei file di registro su S3 fossero entrati in meno di un mese. Non è stato necessario per la mia app analizzare i log su Amazon ma mi piace il tuo approccio. Da quello che ho visto, puoi aspettarti che i file di log siano accurati e completi. In base all'avviso CYA, i registri non devono essere utilizzati per scopi critici.

Answer 2

So che questa non è una risposta alla tua domanda, ma ...

meno che i vostri file statici richiedono una sorta di autorizzazione (URL firmati per download, ecc), non vedo un buon uso caso di utilizzare S3 per servire contenuto statico.

Non è un CDN e non deve essere utilizzato come tale. ;-)

Per lo meno, consiglierei di usare il cloudfront ma IMHO è troppo costoso (e non si comporta molto bene rispetto agli altri). Vorrei raccomandare a qualcuno come edgecast o cachefly dato che offrono di più per i tuoi soldi. \

Forniscono anche (più o meno) statiche estensive e molte funzioni interessanti come l'eliminazione e l'annullamento della cache.

Answer 3

Abbiamo utilizzato S3 per registrare quantità relativamente grandi di dati (nell'ordine delle righe di 100M).Avevamo bisogno di fare affidamento su log di accesso S3 per uno scopo specifico e che osserviamo alcuni problemi che potrebbero essere importanti per i potenziali utenti di log di accesso di essere a conoscenza di:

• Vediamo voci (pochi) di log che rivelano molti giorni dopo che si suppone di essere creati
• vediamo le voci duplicate registrazione di una singola transazione S3 (attualmente indagando)
• ci sembra anche essere dei casi in cui non è in realtà creato una voce di registro (attualmente indagando)

La mia raccomandazione è di evitare di fare affidamento su Log di accesso S3 se l'accuratezza e la completezza dei dati sono fondamentali.