Ottenere l'id di esecuzione dell'app per un lavoro Spark

Question

Vorrei, da dove eseguo un lavoro Spark, ottenere l'id univoco di quel lavoro.

Tramite il sito Web del nodo principale Spark, posso vedere quell'id. E 'qualcosa di simile:

ID: app-20140429125304-0452 

Esiste un modo per ottenere questo, quando si crea un esecuzione di un lavoro? Forse tramite SparkContext?

Answer 1

sì, esattamente come ha detto lei:

sc.applicationId 
res0: String = app-20150224184813-11531 

(Questo è scintilla 1.2)

Vedi API doc presso

• https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

Answer 2

Per coloro che utilizzano pyspark, vedi questa domanda quasi identica: How to extract application ID from the PySpark context

La risposta di @vvladymyrov ha funzionato per me eseguendo pyspark in modalità filato-client.

>>> sc._jsc.sc().applicationId() 
u'application_1433865536131_34483' 

Answer 3

Con l'introduzione del spark: org.apache.spark.sql.SparkSession Spark 2.0+ sull'uso

scala> spark.sparkContext.applicationId 
res1: String = app-20170228091742-0025 

Answer 4

Dipende da quale lingua si sta utilizzando.

Scala

https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

sc.applicationId 

Java

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/api/java/JavaSparkContext.html

sparkContext.sc().applicationId(); 

Python

http://spark.apache.org/docs/1.6.2/api/python/pyspark.html#pyspark.SparkContext

sc.applicationId 

Può anche dipendere la versione Spark.