Appletazione Java Spark: java.lang.ClassNotFoundException

Question

Ho creato un'applicazione Apache Spark tramite Java. Tutto ciò che fa è contare le righe contenenti la parola "scintilla" 1000 volte.

Ecco il mio codice:

public class Example1 { 
    public static void main(String[] args) { 
     String logfile = args[0]; 
     try{ 
      SparkConf conf = new SparkConf(); 
      conf.setAppName("Sample"); 
      conf.setMaster("spark://<master>:7077"); 
      conf.set("spark.executor.memory", "1g"); 
      JavaSparkContext sc = new JavaSparkContext(conf); 
      JavaRDD<String> logData = sc.textFile(logfile).cache(); 
      long count = 0; 
      for(int i=0; i<=1000; i++){ 
       count += logData.filter(new Function<String, Boolean>(){ 
        public Boolean call(String s){ 
         if (s.toLowerCase().contains("spark")) 
          return true; 
         else 
          return false; 
        } 
       }).count(); 
      } 
     } 
     catch(Exception ex){ 
      System.out.println(ex.getMessage()); 
     } 
    } 
} 

Quando si esegue il debug in Eclipse IDE, io sto incontrando java.lang.ClassNotFoundException:

WARN scheduler.TaskSetManager: Loss was due to java.lang.ClassNotFoundException 
java.lang.ClassNotFoundException: org.spark.java.examples.Example1$1 
at java.net.URLClassLoader$1.run(URLClassLoader.java:217) 
at java.security.AccessController.doPrivileged(Native Method) 
at java.net.URLClassLoader.findClass(URLClassLoader.java:205) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:323) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:268) 
at java.lang.Class.forName0(Native Method) 
at java.lang.Class.forName(Class.java:270) 

Ho provato anche la distribuzione di questo all'interno del cluster utilizzando spark-submit, ma ancora , si è verificata la stessa eccezione. Ecco una parte della stacktrace:

ERROR Executor: Exception in task ID 4 
java.lang.ClassNotFoundException: org.spark.java.examples.Example1$1 
at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
at java.security.AccessController.doPrivileged(Native Method) 
at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
at java.lang.Class.forName0(Native Method) 

Qualche idea su come risolvere questo problema? Grazie in anticipo!

Answer 1

È necessario consegnare il barattolo con il proprio lavoro ai lavoratori. Per fare questo, hanno Maven costruire un vaso e aggiungere quel vaso al contesto:

conf.setJars(new String[]{"path/to/jar/Sample.jar"}); [*] 

Per un lavoro 'vero' si avrebbe bisogno di costruire un vaso con le dipendenze (controllare Maven plug-in ombra), ma per un semplice lavoro senza dipendenze esterne, è sufficiente un semplice contenitore.

[*] Non ho molta familiarità con Spark Java API, assumendo che dovrebbe essere qualcosa del genere.

Answer 2

È necessario includere il vaso nel percorso di classe del lavoratore. È possibile farlo in due modi:

• Utilizzando il metodo SparkContext addJar (è possibile rivedere la documentazione in questa pagina http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkContext)
• Aggiungendo il vaso nella directory lib nella vostra distribuzione scintilla.

Il primo è il metodo consigliato.

Answer 3

Ciò può verificarsi anche se non si specifica il nome completo del pacchetto quando si utilizza la riga di comando spark-submit. Se il metodo main per l'applicazione è in test.spark.SimpleApp allora la linea di comando deve essere simile a questa:

./bin/spark-submit --class "test.spark.SimpleApp" --master local[2] /path_to_project/target/spark_testing-1.0-SNAPSHOT.jar 

Aggiungendo solo --class "SimpleApp" non riuscirà con ClassNotFoundException.