Dispongo di un servizio mobile distribuito su 7 server, ciascuno dei quali svolge un compito specifico. Voglio registrare le informazioni da loro e in seguito ricavarne informazioni di business. L'ho arrotondato a Flume. Come posso usarlo per raccogliere informazioni? Il mio sistema è scritto in PHP. Flume funziona su PHP?Registrazione distribuita con canale
Gli agenti flume possono sedersi su vari sistemi operativi, inclusi Windows e Linux.
Quindi, in breve, se si sta ospitando su uno di questi sistemi operativi, non vi è alcun motivo per cui non è possibile utilizzare flume per aggregare i registri da più caselle.
Dipende dalle esigenze dell'utente e dall'ambiente del server. Una cosa che posso dirvi è che Flume non ha alcuna integrazione diretta con PHP. Tuttavia, ci sono altri modi per aggirare questo problema.
Sono server in esecuzione su Amazon EC2 con una combinazione di rsyslog + flume. Nella mia configurazione, raccolgo i log web dai miei server che eseguono nginx in esecuzione su server linux. I server nginx emettono log di richieste Web come messaggi syslog in rsyslog; rsyslog fa una richiesta tcp al mio raccoglitore di fumi centrale; il raccoglitore di fumetti ascolta questi messaggi con il sink syslogTcp; il raccoglitore di fumetti inoltra i messaggi in Amazon S3. Successivamente analizzo i file di registro con Amazon EMR in un secondo momento.
Nella tua situazione, PHP può anche essere configurato per scrivere su syslog (http://php.net/manual/en/function.syslog.php); pertanto, è possibile avere una configurazione simile e fare in modo che il syslog inoltra i registri a un nodo centrale di raccolta dei fumi.
Se non si desidera fare affidamento sui messaggi syslog, è possibile anche avere client flume in esecuzione sui server. I client flume possono essere configurati in modo da ridurre i file di log locali con il dissipatore di coda di flume oppure è possibile codificare tutti i file di registro in una directory specificata con il sink di coda di flume e trasferirli a un collettore di fumi.
Un buon vantaggio di flume è che è possibile configurarlo per avere messaggi consegnati con una buona probabilità che raggiunga la destinazione per messaggi importanti, mentre altri messaggi possono essere inviati con requisiti di consegna inferiori.
Il manuale d'uso flume è il posto migliore per ottenere informazioni più dettagliate: http://flume.apache.org/FlumeUserGuide.html
Un altro buon posto dove cercare è quello di saltare su freenode ed entrare nel canale #flume.
qualcuno ha funzionato con flume ???? –