Output logstash su Elasticsearch su AWS EC2

Question

Ho problemi a configurare il logstash in output su un cluster Elasticsearch su AWS EC2.

Utilizzo la versione 1.1.5 di Logstash e Elasticsearch 1.19.8.

Questa è la mia configurazione di uscita in logstash:

output { 
    stdout { debug => true debug_format => "json"} 
    elasticsearch { 
    cluster => "logstash-searcher" 
    node_name => "logstash-indexer" 
    } 
} 

e questa è la configurazione corrispondente in elasticsearch.yml

cluster.name: logstash-searcher 
path.data: /usr/local/elasticsearch/data 
path.work: /usr/local/elasticsearch/tmp 
path.logs: /usr/local/elasticsearch/logs 
path.plugins: /usr/local/elasticsearch/plugins 
bootstrap.mlockall: true 
cloud.aws.region: eu-west-1 
cloud.aws.access_key: -- 
cloud.aws.secret_key: -- 
discovery.type: ec2 
discovery.ec2.host_type: public_ip 
discovery.ec2.groups: elasticsearch 
gateway.type: s3 
gateway.s3.bucket: es-logstash 

transport.tcp.port: 9300-9400 

comincio logstash utilizzando:

java -jar logstash-1.1.5-monolithic.jar agent -f shipper.conf 

E dopo un po 'di avvio ottengo questi errori:

Failed to index an event, will retry {:exception=>org.elasticsearch.discovery.MasterNotDiscoveredException: waited for [1m], 

mio sospetto è che logstash ha bisogno di usare qualcosa come la nube Aws per il suo cliente elasticsearch per essere in grado di trovare il cluster. Qualcuno ha una configurazione di esempio che funziona su aw?

Answer 1

Il problema è che l'istanza elasticsearch incorporata di logstash utilizzava la modalità di rilevamento predefinita. Dato che il cluster elasticsearch è configurato con cloud-aws, anche l'elasticsearch incorporato di logstash deve essere incorporato.

Per fare ciò è necessario aggiungere un file di configurazione elasticsearch.yml alla directory di lavoro di logstash. È inoltre necessario fornire il plugin cloud-aws aggiungendolo al percorso della classe.

java -cp logstash-1.1.7-monolithic.jar:cloud-aws/* logstash.runner agent -f shipper.conf 

Utilizzando questa configurazione sono riuscito a ottenere il logstash in uscita nel mio cluster elasticsearch.