Spark - Errore "Un master URL deve essere impostato nella configurazione" quando si invia un'applicazione

Question

Possiedo un'app Spark che funziona senza problemi in modalità locale, ma presenta alcuni problemi durante l'invio al cluster Spark.

msg errore sono i seguenti:

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError 
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) 
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) 
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390) 
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595) 
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) 
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) 
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858) 
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858) 
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) 
    at org.apache.spark.scheduler.Task.run(Task.scala:89) 
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:401) 
    at GroupEvolutionES$.<init>(GroupEvolutionES.scala:37) 
    at GroupEvolutionES$.<clinit>(GroupEvolutionES.scala) 
    ... 14 more 

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 5.0 in stage 0.0 (TID 5, cluster-node-02): java.lang.NoClassDefFoundError: Could not initialize class GroupEvolutionES$ 
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) 
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) 
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390) 
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595) 
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) 
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) 
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858) 
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858) 
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) 
    at org.apache.spark.scheduler.Task.run(Task.scala:89) 
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Nel codice precedente, GroupEvolutionES è la classe principale. L'errore msg dice "Un master URL deve essere impostato nella tua configurazione", ma ho fornito il parametro "--master" a spark-submit.

Chi sa come risolvere questo problema?

versione Spark: 1.6.1

Answer 1

cui è definito l'oggetto sparkContext, è all'interno della funzione principale?

Anch'io ho affrontato lo stesso problema, l'errore che ho fatto è stato avviare lo sparkContext all'esterno della funzione principale e all'interno della classe.

Quando l'ho avviato all'interno della funzione principale, ha funzionato correttamente.

Answer 2

In che modo il contesto spark nella propria applicazione seleziona il valore per spark master?

• È possibile fornire esplicitamente SparkConf durante la creazione di SC.
• Oppure seleziona dallo System.getProperties (dove SparkSubmit lo ha inserito in precedenza dopo aver letto l'argomento --master).

Ora, SparkSubmit viene eseguito sul conducente - che nel tuo caso è la macchina da cui si sta eseguendo lo script spark-submit. E probabilmente sta funzionando come previsto anche per te.

Tuttavia, dalle informazioni che hai postato sembra che tu stia creando un contesto di scintilla nel codice che viene inviato all'esecutore - e dato che non c'è nessuna proprietà di sistema spark.master disponibile lì, fallisce. (E non dovresti farlo davvero, se è così.)

Puoi inserire il codice GroupEvolutionES (in particolare dove stai creando SparkContext(s)).

Answer 3

Ho finito su questa pagina dopo aver tentato di eseguire un semplice programma Java Spark SQL in modalità locale. Per fare questo, ho scoperto che ho potuto impostare spark.master utilizzando:

SparkSession spark = SparkSession 
.builder() 
.appName("Java Spark SQL basic example") 
.config("spark.master", "local") 
.getOrCreate(); 

Un aggiornamento per la mia risposta:

Per essere chiari, questo non è ciò che si dovrebbe fare in un ambiente di produzione. In un ambiente di produzione, spark.master deve essere specificato in uno degli altri due punti: in $ SPARK_HOME/conf/spark-defaults.conf (questo è dove il gestore cloudera lo metterà), o sulla riga di comando quando si invia l'applicazione. (ex scintilla-invia - filato maestro).

Se si specifica che spark.master è "locale" in questo modo, spark tenterà di eseguire in un singolo jvm, come indicato dai commenti seguenti. Se si tenta quindi di specificare il cluster in modalità -deploy, verrà visualizzato un errore "La modalità di distribuzione del cluster non è compatibile con il master" locale "". Questo è dovuto all'impostazione della scintilla.master = locale significa che NON stai correndo in modalità cluster.

Invece, per un'applicazione di produzione, all'interno della vostra funzione principale (o in funzioni chiamate dalla funzione principale), è necessario utilizzare semplicemente:

SparkSession 
.builder() 
.appName("Java Spark SQL basic example") 
.getOrCreate(); 

Questo userà le configurazioni specificati sulla riga di comando/a file di configurazione.

Inoltre, per essere chiari su questo anche: --master e "spark.master" sono esattamente lo stesso parametro, solo specificato in diversi modi. L'impostazione di spark.master nel codice, come nella mia risposta sopra, sovrascriverà i tentativi di impostare --master, e sovrascriverà i valori in spark-defaults.conf, quindi non farlo nella produzione. È fantastico per i test però.

, vedere this answer. che collega a a list of the options for spark.master e ciò che ciascuno fa effettivamente.

a list of the options for spark.master in spark 2.2.1

Answer 4

lavorato per me dopo la sostituzione

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME"); 

con

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g"); 

trovato questa soluzione su qualche altro thread StackOverflow.

Answer 5

Sostituzione:

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME"); 
WITH 
SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g"); 

Forse la magia.

Answer 6

Ho avuto lo stesso problema, Ecco il mio codice prima della modifica:

package com.asagaama 

import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 
import org.apache.spark.rdd.RDD 

/** 
    * Created by asagaama on 16/02/2017. 
    */ 
object Word { 

    def countWords(sc: SparkContext) = { 
    // Load our input data 
    val input = sc.textFile("/Users/Documents/spark/testscase/test/test.txt") 
    // Split it up into words 
    val words = input.flatMap(line => line.split(" ")) 
    // Transform into pairs and count 
    val counts = words.map(word => (word, 1)).reduceByKey { case (x, y) => x + y } 
    // Save the word count back out to a text file, causing evaluation. 
    counts.saveAsTextFile("/Users/Documents/spark/testscase/test/result.txt") 
    } 

    def main(args: Array[String]) = { 
    val conf = new SparkConf().setAppName("wordCount") 
    val sc = new SparkContext(conf) 
    countWords(sc) 
    } 

} 

E dopo la sostituzione:

val conf = new SparkConf().setAppName("wordCount") 

Con:

val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]") 

Ha funzionato bene!

Answer 7

Il valore predefinito di "spark.master" è spark: // HOST: PORT e il codice seguente tenta di ottenere una sessione dal cluster autonomo in esecuzione su HOST: PORT e si aspetta l'HOST: Valore PORT da inserire nel file di configurazione spark.

SparkSession spark = SparkSession 
    .builder() 
    .appName("SomeAppName") 
    .getOrCreate(); 

"org.apache.spark.SparkException: Un URL master deve essere impostato nella configurazione" afferma che host: porta non è impostato nel file di configurazione scintilla.

Per non preoccuparsi di valore di "host: porta", impostare spark.master come locale

SparkSession spark = SparkSession 
    .builder() 
    .appName("SomeAppName") 
    .config("spark.master", "local") 
    .getOrCreate(); 

Here è il link per la lista dei formati in cui URL master può essere passato a scintilla .padroneggiare

Answer 8

Se si utilizza codice seguente

val sc = new SparkContext(master, "WordCount", System.getenv("SPARK_HOME")) 

quindi sostituire con i seguenti linee

val jobName = "WordCount"; 
    val conf = new SparkConf().setAppName(jobName); 
    val sc = new SparkContext(conf) 

---

In Spark 2.0 è possibile utilizzare seguente codice

val spark = SparkSession 
    .builder() 
    .appName("Spark SQL basic example") 
    .config("spark.some.config.option", "some-value") 
    .master("local[*]")// need to add 
    .getOrCreate() 

È necessario per aggiungere .master ("local [*]") if runing locale qui * significa tutti i nodi, si può dire invece di 8 1,2 ecc

È necessario impostare Maestro URL se il gruppo

Answer 9

var appName:String ="test" 
val conf = new SparkConf().setAppName(appName).setMaster("local[*]").set("spark.executor.memory","1g"); 
val sc = SparkContext.getOrCreate(conf) 
sc.setLogLevel("WARN") 

Answer 10

Ci mancano il setMaster ("locale [*] ") da impostare. Una volta aggiunto, il problema viene risolto.

Problema:

val spark = SparkSession 
     .builder() 
     .appName("Spark Hive Example") 
     .config("spark.sql.warehouse.dir", warehouseLocation) 
     .enableHiveSupport() 
     .getOrCreate() 

soluzione:

val spark = SparkSession 
     .builder() 
     .appName("Spark Hive Example") 
     .config("spark.sql.warehouse.dir", warehouseLocation) 
     .enableHiveSupport() 
     .master("local[*]") 
     .getOrCreate() 

Answer 11

Se non si forniscono di configurazione Spark in JavaSparkContext quindi si ottiene questo errore. Ossia: JavaSparkContext sc = new JavaSparkContext();

Soluzione: fornire JavaSparkContext sc = new JavaSparkContext (conf);