Logstash: come aggiungere il nome del file come campo?

Question

Sto utilizzando Logstash + Elasticsearch + Kibana per avere una panoramica dei miei file di registro Tomcat.

Per ogni voce del registro, è necessario conoscere il nome del file da cui proviene. Mi piacerebbe aggiungerlo come campo. C'è un modo per farlo? Ho cercato su Google un po 'e ho trovato solo this SO question, ma la risposta non è più aggiornata.

Finora l'unica soluzione che vedo è specificare la configurazione separato per ogni nome di file possibile con diverso "add_field" in questo modo:

input { 
    file { 
    type => "catalinalog" 
    path => [ "/path/to/my/files/catalina**" ] 
    add_field => { "server" => "prod1" } 
    } 
} 

Ma poi ho bisogno di riconfigurare logstash ogni volta che c'è un nuovo possibile nome del file. Qualche idea migliore?

Answer 1

Ciao ho aggiunto un filtro grok per fare proprio questo. Volevo solo che il nome file non fosse il percorso, ma puoi cambiarlo in base alle tue esigenze.

filter { 
    grok { 
    match => ["path","%{GREEDYDATA}/%{GREEDYDATA:filename}\.log"] 
    } 
} 

Answer 2

Nel caso in cui si desidera combinare il messaggio e il nome del file in un unico evento:

filter { 
grok { 
    match => { 
     message => "ERROR (?<function>[\S]*)" 
     } 
} 
grok { 
    match => { 
     path => "%{GREEDYDATA}/%{GREEDYDATA:filename}\.log" 
     } 
}} 

Il risultato in elasticsearch (focus su 'nome' e campi di 'funzione'):

"_index": "logstash-2016.08.03", 
    "_type": "logs", 
    "_id": "AVZRyEI49-A6kyBCq6Yt", 
    "_score": 1, 
    "_source": { 
     "message": "27/07/16 12:16:18,321 ERROR blaaaaaaaaa.internal.com", 
     "@version": "1", 
     "@timestamp": "2016-08-03T19:01:33.083Z", 
     "path": "/home/admin/mylog.log", 
     "host": "my-virtual-machine", 
     "function": "blaaaaaaaaa.internal.com", 
     "filename": "mylog" 
    }