Come silenziare i messaggi di debug di apache zookeeper (AWS EMR)?

Question

Come disattivare i messaggi DEBUG sul nodo principale AWS Elastic MapReduce?

hbase(main):003:0> list 
TABLE                            
mydb                             
1 row(s) in 0.0510 seconds 

hbase(main):004:0> 00:25:17.104 [main-SendThread(ip-172-31-14-206.ec2.internal:2181)] DEBUG org.apache.zookeeper.ClientCnxn - Got ping response for sessionid: 0x1493a5c3b78001b after 1ms 

hbase(main):005:0* 00:26:17.165 [main-SendThread(ip-172-31-14-206.ec2.internal:2181)] DEBUG org.apache.zookeeper.ClientCnxn - Got ping response for sessionid: 0x1493a5c3b78001b after 1ms 

Answer 1

Non so se ci sia qualche opzione nell'interfaccia utente Web per modificare la verbosità del registro. Ma ci deve essere un signore dello zoo (che sta usando Log4j) cartella di configurazione $ {} ZOOKEEPER_HOME/conf in cui è possibile modificare il file logj4.properties e specificano:

zookeeper.console.threshold=WARN 

Ma penso che queste modifiche devono essere fatto non direttamente in Zookeeper, ma nella configurazione del registro HBase - $ {HBASE_HOME}/conf (HBase utilizza anche Log4j), perché HBase può gestire Zookeeper. Ci sono alcuni parametri che possono essere modificati c'è:

# Define some default values that can be overridden by system properties 
hbase.root.logger=INFO,console 
hbase.security.logger=INFO,console 

# Main log level 
log4j.threshold=ALL 

# Zookeeper log level 
log4j.logger.org.apache.zookeeper=INFO 

Per trovare questo file è possibile provare il prossimo comando:

$ find /* -name "log4j.properties" | grep -E "zookeeper|hbase" 
/hadoop/zookeeper/conf/log4j.properties 
/hadoop/hbase/conf/log4j.properties 

Answer 2

risposta accettata per this question aiuta a sopprimere i messaggi di log di debug non solo per la hbase shell ma per tutti gli altri daemon hbase in esecuzione (ad es. server regionale, zookeeper). Tutto ciò che serve è quello di aggiungere:

<configuration> 
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> 
    <encoder> 
     <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern> 
    </encoder> 
    </appender> 
    <root level="error"> 
     <appender-ref ref="STDOUT" /> 
    </root> 
</configuration> 

in ~/hbase/conf/logback.xml e riavviare tutti i servizi o shell HBase.