Come imposto le opzioni Java per Kafka?

Question

ho avuto modo di sperimentare con Kafka e vide dalla documentazione sul sito principale che siete in grado di impostare diverse opzioni per la JVM come dimensione heap e il garbage collector che usa:

http://kafka.apache.org/documentation.html#java

Ciò che non dice, tuttavia, è come/dove impostare queste opzioni. L'applicazione viene fornita con una directory/config contenente molti file utilizzati per scopi di configurazione ma nessuno per Java. Inoltre viene fornito con una directory/bin contenente un gruppo di script per Kafka ma, ancora una volta, nulla indica realmente come configurare Java.

Quindi la mia domanda è, come posso configurare le opzioni Java utilizzate da Kafka? È fatto attraverso un file o c'è un modo diverso?

Answer 1

Non sono d'accordo con la risposta accettata. La modifica di uno script nella directory bin non è consigliata. Quando si aggiorna Kafka alla prossima versione, l'estrazione dei nuovi binari annullerebbe le modifiche apportate allo script.

Il modo migliore dovrebbe essere impostare la variabile di ambiente KAFKA_HEAP_OPTS al di fuori dello script.

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Se il var è impostata prima di iniziare Kafka tramite lo script che utilizzerà il var invece dei valori di default definiti in /bin/kafka-server-start.sh

Answer 2

È possibile passare i parametri java dalla riga di comando. Per esempio.

java -server -Xms3072m -Xmx3072m -XX:NewSize=256m -XX:MaxNewSize=256m -classpath <long list of jars> foo.class 

Per una configurazione server di `di produzione è possibile creare un file di proprietà o impostarle in codice con la creazione di

Properties props = new Properties(); 
props.put("serializer.class", "kafka.serializer.StringEncoder"); 

E poi fornirli a producerConfig

ProducerConfig config = new ProducerConfig(props); 

Answer 3

Un altro modo per farlo questo è modificando le informazioni scritte in /bin/kafka-server-start.sh:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 

o in /bin/kafka-run-class.sh:

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true" 

Answer 4

Guardando kafka-run-classh.sh - Kafka usa la seguenti variabili:

$KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS è possibile eseguirlo tramite: sudo KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=12346 -Dcom.sun.management.jmxremote.rmi.port=12346 -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false" bin/kafka-server-start.sh -daemon config/server.properties