Come faccio a garantire che i log vengano conservati per sempre in Kafka?

Question

Devo configurare Kafka mai per eliminare i registri. Guardando la loro documentazione, vedo due tipi di parametri che controllano questo:

• "Log pulito", descritto al http://kafka.apache.org/documentation.html#compaction. Sembra che l'impostazione log.cleaner.enable = false impedisca all'eliminatore di eliminare o compattare i registri.

• Il meccanismo "log retention", descritto in http://kafka.apache.org/documentation.html#configuration in log.retention.<time scales>. Sembra che l'impostazione di log.retention.ms = -1 segnali la conservazione infinita.

La mia domanda è:

Qual è la relazione tra questi due meccanismi, sono questi gli unici due, e sono le impostazioni precedenti necessari e sufficienti per evitare che i registri da sempre di essere cancellato?

Answer 1

Non sicuro quale versione si sta utilizzando. Per me, io uso questo:

log.retention.hours=2147483647 

Questo è circa 245.000 anni. Credo di aver provato -1 ad un certo punto, ma usando il valore massimo funzionante. Forse log.retention.ms accetta valori diversi, ma a prescindere - la seconda delle opzioni di configurazione dovrebbe essere sufficiente. La mia ipotesi è che nessuna delle due opzioni sia necessaria; o sarebbe sufficiente. Certamente, il secondo è sufficiente da solo.