Nella scintilla, "INFO metrics.MetricsSaver: Salvato 10:24 record in ...."

Sto elaborando un file di testo 500M (.gz) in amazon sc3 utilizzando spark e spark sql su amazon EMR (cluster a 6 nodi) . E il mio programma continua a stampare "INFO metrics.MetricsSaver: Salvato 10:24 record in /mnt/var/em/raw/i-d1bfb6dd_20150301_SparkSubmit_05013_raw.bin" per diverse ore.Nella scintilla, "INFO metrics.MetricsSaver: Salvato 10:24 record in ...."

Le mie domande sono:

qual è il significato del registro?
Come posso risolvere questo problema?

Grazie in anticipo.

fonte

2015-03-01 oldflag

E 'la registrazione metriche, che accadrebbe in modo continuo. Di cosa sei preoccupato? non è un problema. –

Voglio sapere cosa sta facendo in quel passo. Cosa viene salvato? – oldflag

Come si spegne questo registratore? Ho disattivato con successo tutte le altre registrazioni, ma non questa. – hajons

Come ha detto Sean, sono solo metriche e non c'è nulla di cui preoccuparsi. Registrerà regolarmente messaggi del genere anche se non stai facendo nulla attivamente.

Per sopprimere questi messaggi, è possibile aggiornare la seguente riga in /home/hadoop/spark/conf/log4j.properties.

Modifica log4j.logger.amazon.emr.metrics=INFO a log4j.logger.amazon.emr.metrics=WARN.

fonte

2015-04-17 18:51:36 Ryan

Oltre alla risposta di Ryan, un altro modo per trasformare questa cosa fastidiosa off (nel codice, invece di config):

import org.apache.log4j.Logger 
import org.apache.log4j.Level 
Logger.getLogger("amazon.emr.metrics").setLevel(Level.OFF)

fonte

2015-05-19 12:38:09

Nella scintilla, "INFO metrics.MetricsSaver: Salvato 10:24 record in ...."

risposta

Problemi correlati