Il monitoraggio di Amazon S3 registra con Splunk?

Question

Abbiamo una vasta rete estesa di utenti che monitoriamo utilizzando i badge. Il traffico totale si aggira intorno alle 60 milioni di impressioni al mese. Attualmente stiamo considerando di passare da una soluzione di registrazione basata su database piuttosto lenta (costruita su PHP-disordinato ...) ad una semplice alternativa basata su log che si basa su log di Amazon S3 e Splunk.

Dopo aver usato Splunk per altri compiti di analisi, mi piace molto. Ma non è chiaro come impostare una fonte come S3 con il sistema. Sembra che le sorgenti remote richiedano l'installazione dello Universal Forwarder, che non è un'opzione disponibile.

Qualche idea su questo?

Answer 1

Risposta molto tarda, ma stavo cercando la stessa cosa e ho trovato un'app Splunk che fa quello che vuoi, http://apps.splunk.com/app/1137/. Non ho ancora provato però.

Answer 2

Suggerirei di registrare i dati pre-elaborati di j-son in un database documentdb. Ad esempio, utilizzando le code azzurre o le tecnologie di messaggistica del bus di servizio simmilar che si adattano allo scenario in combinazione con documentdb azzurro. Quindi terrò il vostro approccio basato su database e lo modificherò come un DB basato su documenti facile da scalare.

Answer 3

Io uso http://www.insight4storage.com/ da AWS Marketplace per rintracciare i totali di utilizzo dell'archiviazione AWS S3 per prefisso, bucket o classe di archiviazione nel tempo; in più mi mostra le versioni precedenti di archiviazione per prefisso e per bucket. Dispone di un'impostazione per salvare i dati S3 come registri di formato splunk che potrebbero funzionare per il tuo caso d'uso, oltre alla sua interfaccia utente e API del servizio web.