Come accedere utilizzando log4j al file system locale all'interno di un'applicazione Spark che viene eseguita su YARN?

Question

Sto creando un'applicazione Apache Streaming Streaming e non riesco a collegarlo a un file sul filesystem locale quando lo si esegue su YARN. Come può ottenere questo?

Ho impostato log4.properties file in modo che possa scrivere su un file di log nella /tmp directory del file system locale (illustrato di seguito in parte):

log4j.appender.file=org.apache.log4j.FileAppender 
log4j.appender.file.File=/tmp/application.log 
log4j.appender.file.append=false 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n 

Quando eseguo la mia applicazione Spark locale utilizzando il seguente comando:

spark-submit --class myModule.myClass --master local[2] --deploy-mode client myApp.jar 

funziona benissimo e posso vedere che i messaggi di log vengono scritti /tmp/application.log sul mio file system locale.

Ma quando eseguo la stessa applicazione tramite YARN, ad es.

spark-submit --class myModule.myClass --master yarn-client --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar 

o

spark-submit --class myModule.myClass --master yarn-cluster --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar 

non riesco a vedere alcun /tmp/application.log sul file system locale della macchina che corre filato.

Cosa mi manca.

Answer 1

[A cura di evitare confusione]

Sembra che avrete bisogno di aggiungere agli argomenti JVM utilizzate al momento del lancio le attività/posti di lavoro.

editing Prova conf/spark-defaults.conf come described here

spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties 

spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties 

In alternativa provate modifica conf/spark-env.sh come described here per aggiungere lo stesso argomento JVM, anche se le voci in conf/scintilla defaults.conf dovrebbero funzionare.

Se non si ha ancora alcuna gioia, è possibile passare esplicitamente il percorso del file log4j.properties sulla riga di comando insieme al proprio spark-submit in questo modo se il file è contenuto nel file JAR e nella directory principale di classpath

spark-submit --class sparky.MyApp --master spark://my.host.com:7077 --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.properties" myapp.jar 

Se il file non è sul classpath utilizzare il prefisso file: e il percorso completo come questo

spark-submit ... --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j-executor.properties" ... 

Answer 2

in alternativa, è possibile utilizzare PropertyConfigu rator di log4j per definire le proprietà del registro personalizzato.

Es.

import com.foo.Bar; 

import org.apache.log4j.Logger; 
import org.apache.log4j.PropertyConfigurator; 

public class MySparkApp { 

    static Logger logger = Logger.getLogger(MySparkApp.class.getName()); 

    public static void main(String[] args) { 

    // Location to property file 
    PropertyConfigurator.configure(args[0]); 

    logger.info("Entering application."); 

    logger.info("Exiting application."); 
    } 
} 

Il file di proprietà avrà i seguenti oggetti di scena,

log4j.appender.file=org.apache.log4j.FileAppender 

log4j.appender.file.File=/tmp/application.log 

log4j.appender.file.append=false 

log4j.appender.file.layout=org.apache.log4j.PatternLayout 

log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n 

EDIT: aggiornamento link alla documentazione log4j. Spark utilizza log4j 2, non v1.2

Rif: http://logging.apache.org/log4j/2.x/

Answer 3

Le opzioni di cui sopra per specificare le log4j.properties utilizzando spark.executor.extraJavaOptions, spark.driver.extraJavaOptions avrebbero log solo a livello locale e anche le log4.properties dovrebbero essere presenti localmente su ogni nodo.

Come specificato nella documentazione https://spark.apache.org/docs/1.2.1/running-on-yarn.html, in alternativa è possibile caricare log4j.properties insieme all'applicazione utilizzando l'opzione --files. Questo avrebbe fatto la registrazione di filati di aggregazione su HDFS ed è possibile accedere al registro utilizzando il comando

yarn logs -applicationId <application id> 

Answer 4

In te file di log4j.properties, si dovrebbe anche modificare il log4j.rootCategoryINFO,console-INFO,file.

log4j.rootCategory=INFO, console  
log4j.rootCategory=INFO,file 

Answer 5

L'invio di lavoro come questo:

spark-submit  
    --class com.X.datahub.djobi.Djobi \ 
    --name "djobi-dev" \ 
    --master "local" \ 
    --num-executors 1 \ 
    --deploy-mode client \ 
    --driver-memory 1g \ 
    --driver-cores 2 \ 
    --executor-memory 6g \ 
    --executor-cores 4 \ 
    --driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=config/log4j.properties" \ 
    --conf "spark.memory.fraction=0.4" \ 
    --conf "spark.yarn.executor.memoryOverhead=1024" \ 
    --conf "spark.executor.extraJavaOptions=-XX:+UseCompressedOops " \ 
    --conf "spark.sql.parquet.compression.codec=snappy" \ 
    ./target/X-1.0.jar "$@" 

Dove log4j.properties è un file di progetto all'interno della cartella src/main/resources/config.

posso vedere nella console:

log4j: Trying to find [config/log4j.properties] using context classloader org.apache.spark.util.MutableURLClassLoader@86be70a. 

log4j: Using URL [jar:file:/Volumes/Data/tom/www/X/datahub/djobi/./target/X-1.0.jar!/config/log4j.properties] for automatic log4j configuration. 

log4j: Reading configuration from URL jar:file:/Volumes/Data/tom/www/X/datahub/djobi/./target/X-1.0.jar!/config/log4j.properties 

log4j: Parsing for [root] with value=[WARN, console]. 

Quindi il file viene preso in considerazione bene.

Ma si dovrebbe davvero fare affidamento sui log aggregati YARN o sull'interfaccia utente di Spark history.