Registrazione dall'app Java a ELK senza necessità di log di analisi

Question

Desidero inviare i registri da un'app Java a ElasticSearch e l'approccio convenzionale sembra essere quello di impostare Logstash sul server che esegue l'app e fare in modo che logstash analizzi il log file (con regex ...!) e caricali in ElasticSearch.

C'è un motivo in questo modo, piuttosto che impostare log4J (o logback) per registrare le cose nel formato desiderato direttamente in un raccoglitore di registri che può quindi essere spedito a ElasticSearch in modo asincrono? Mi sembra pazzesco dover smanettare con i filtri grok per gestire le tracce di stack multiline (e masterizzare i cicli della CPU sull'analisi dei log) quando l'app stessa potrebbe semplicemente registrare il formato desiderato in primo luogo?

Su una nota tangenzialmente correlata, per le app in esecuzione in un contenitore Docker, è consigliabile eseguire il log direttamente su ElasticSearch, data la necessità di eseguire un solo processo?

Answer 1

Penso che sia di solito sconsigliato accedere direttamente a Elasticsearch da un Log4j/Logback/qualunque appender, ma sono d'accordo che scrivere logstash per analizzare un log Java "normale" leggibile dall'uomo è una cattiva idea. Io uso https://github.com/logstash/log4j-jsonevent-layout ovunque io possa avere gli appendici di file regolari di Log4j producono log JSON che non richiedono ulteriori analisi da Logstash.

Answer 2

Se davvero si vuole andare su questa strada, l'idea sarebbe quella di utilizzare qualcosa come un Elasticsearch appender (o this one o this other one) che spedire i vostri log direttamente al cluster ES.

Tuttavia, vorrei sconsigliarlo per gli stessi motivi menzionati da @ Vineth Mohan. Dovresti anche pormi un paio di domande, ma principalmente cosa succederebbe se il tuo cluster ES dovesse andare giù per qualsiasi motivo (OOM, rete giù, aggiornamento ES, ecc.)?

Ci sono molte ragioni per cui esiste l'asincronicità, una delle quali è la robustezza della tua architettura e il più delle volte è molto più importante della masterizzazione di un paio di cicli della CPU sull'analisi dei log.

Si noti inoltre che esiste uno ongoing discussion su questo argomento molto attivo nel forum di discussione ES ufficiale.

Answer 3

Se avete bisogno di una soluzione rapida ho scritto questo appender qui Log4J2 Elastic REST Appender se volete usarlo. Ha la capacità di memorizzare gli eventi del registro in base al tempo e/o al numero di eventi prima di inviarlo a Elastic (utilizzando l'API _bulk in modo che invii tutto in una volta sola). È stato pubblicato su Maven Central quindi è abbastanza semplice.

Come gli altri utenti hanno già menzionato, il modo migliore per farlo sarebbe salvarlo su file e quindi spedirlo a ES separatamente. Comunque penso che ci sia un valore se hai bisogno di ottenere qualcosa che funzioni velocemente finché non hai tempo/risorse per implementare il modo ottimale.