BigQuery vs Elasticsearch per analizzare e archiviare i registri delle applicazioni

Question

Sto esaminando i vantaggi dell'utilizzo di BigQuery per ottenere informazioni dettagliate sui file di registro dell'applicazione. I log sono prodotti da applicazioni Java e C#, la maggior parte su macchine virtuali basate su cloud. Mi interessa sapere se altri lo hanno fatto e dei relativi meriti di BigQuery vs ElasticSearch/Logstash/Kibana.

Il vantaggio di BigQuery sembra essere la capacità di gestire enormi quantità di dati, mentre le soluzioni ELK sembrano forse più adatte alla natura non strutturata dei file di registro, soprattutto quando provengono da sistemi diversi.

Vorrei anche visualizzare le informazioni su una dashboard. Kibana sembra essere molto bravo per questo. Quanto è facile creare cruscotti utilizzando la soluzione di Google (utilizzando fogli di google, ecc.)?

Pensieri, casi d'uso?

Answer 1

Elasticsearch e BigQuery funzionano alla grande. BigQuery prenderà tutti i dati che hai e lo interromperà nel modo desiderato in pochi secondi. Nel frattempo un'installazione ben sintonizzata di Elasticsearch ti darà le risposte in meno di un secondo, ma solo per alcune query su una quantità limitata di dati.

Vedi questo post da Ory a turni, dove hanno dettaglio come utilizzare entrambi:

https://www.rounds.com/blog/collecting-user-data-and-usage/

Le due principali titoli che riassumono le loro ragioni per fare entrambe le cose:

• dati in diretta con Elasticsearch
• Big data con Google BigQuery