Fluentd to Logstash Output Plugin

Question

Sto provando a leggere dal server scribe usando flunetd e produco quei log da memorizzare nel logstash per ora. So che è molto stupido registrare i registri scribe_central in un altro registratore centrale, ma è necessario che ciò avvenga nella nostra attuale architettura.

Qualcuno sa se c'è qualche plugin per farlo? Ho cercato su Google ma non ho trovato nessuno.

Answer 1

Per Scribe < -> Fluentd, c'è fluent-plugin-scribe:

Per Fluentd < -> Logstash, un paio di opzioni:

1. Usa Redis nel mezzo, e utilizzare fluent-plugin-redis e input_redis su Logstash di lato. Quindi sarebbe Fluentd -> Redis -> Logstash. Questo è ciò che Logstash raccomanda comunque con i log shippers + Logstash.
2. In alternativa, è possibile utilizzare il plugin out_forward di Fluentd con l'input TCP di Logstash. Logstash ha il codec Fluentd per gestire l'input proveniente da Fluentd.

Answer 2

ho preso a lavorare con uscita http dall'ingresso fluentd e http per logstash, sotto i frammenti di configurazione:

fluentd:

<match **> 
    @type http 
    endpoint_url http://logstash-box:8080/ 
    http_method put 
    serializer json 
    raise_on_error false 
</match> 

Logstash:

input { 
    http { 
     port => 8080 
    } 
} 

Obs: Potrebbe essere necessario installare il plug-in gem install fluent-plugin-out-http

Answer 3

È possibile inoltrare direttamente nella tua logstash ingresso tcp :)

ho scritto un plugin di output flunetd per l'inoltro eventi fluentd ad un ricevitore generici attraverso un assicurato connessione TCP (può essere configurato per non protetta pure) .

fluent-plugin-loomsystems

Per aggiungere il plugin per il vostro agente fluentd, utilizzare il seguente comando:

gem install fluent-plugin-loomsystems 

vedi anche pieno original answer, buona fortuna.