Sto cercando di sopprimere il messaggioCome sbarazzarsi del messaggio "Usando il profilo log4j predefinito di Spark: org/apache/spark/log4j-defaults.properties"?
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
quando ho eseguito il mio Spark app. Ho reindirizzato correttamente i messaggi INFO, tuttavia questo messaggio continua a essere visualizzato. Qualsiasi idea sarebbe molto apprezzata.
Ok, quindi ho trovato un modo per farlo. Quindi, in pratica, avevo inizialmente il mio log4j.xml, che era in uso, e quindi stavamo vedendo questa proprietà. Una volta avuto il mio file "log4j.properties", questo messaggio è andato via.
Questa è la soluzione esatta se si utilizza Intellij. Ottimo lavoro. Le altre risposte non hanno funzionato per me. –
Potete per favore fornirmi alcuni dettagli come siete usciti dal profilo log4j predefinito di Using Spark: org/apache/spark/log4j-defaults.properties. Sto usando spark 1.6, eseguendo il lavoro su cluser di filato. Impossibile capire come passare log4j in ambiente distribuito. Ho il mio file di log4j propertie –
Ancora più semplice è sufficiente cd SPARK_HOME/conf quindi mv log4j.properties.template log4j.properties quindi aprire log4j.properties e cambiare tutto INFO-ERROR. Qui SPARK_HOME è la directory principale della tua installazione di scintilla.
Alcuni potrebbero utilizzare hdfs come backend di archiviazione Spark e troveranno i messaggi di registrazione effettivamente generati da hdfs. Per modificarlo, vai al file HADOOP_HOME/etc/hadoop/log4j.properties. Basta cambiare hadoop.root.logger=INFO,console a hadoop.root.logger=ERROR,console. Ancora una volta HADOOP_HOME è la radice della tua installazione di hadoop per me era /usr/local/hadoop.
Ho dovuto applicare queste modifiche e copiare 'log4j.properties' nella cartella' src/main/resources' per le modifiche da prendere. –
Interessante, mi chiedo se hai ricominciato lo scintilla master se questo non fosse necessario? – quine
Non so, ma probabilmente ho riavviato SBT in cui Spark era in esecuzione. –
aggiungi la cartella conf della scintilla alla variabile CLASSPATH. – Kaushal
@kaushal hai ragione, dovevo fare qualcosa di simile ma non esattamente, quello che hai suggerito qui, ma sono sicuro che se avessi fatto quello che hai suggerito, questo messaggio sarebbe andato. Grazie! – Seagull