Spark ClassNotFoundException che esegue il master

Question

Ho scaricato e generato Spark 0.80 utilizzando sbt/sbt assembly. Ha avuto successo Tuttavia quando si esegue ./bin/start-master.sh il seguente errore è visto nel file di registro

Spark Command: /System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home/bin/java -cp :/shared/spark-0.8.0-incubating-bin-hadoop1/conf:/shared/spark-0.8.0-incubating-bin-hadoop1/assembly/target/scala-2.9.3/spark-assembly-0.8.0-incubating-hadoop1.0.4.jar 
/shared/spark-0.8.0-incubating-bin-hadoop1/assembly/target/scala-2.9.3/spark-assembly_2.9.3-0.8.0-incubating-hadoop1.0.4.jar -Djava.library.path= -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip mellyrn.local --port 7077 --webui-port 8080 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/deploy/master/Master 
Caused by: java.lang.ClassNotFoundException: org.apache.spark.deploy.master.Master 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:202) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:306) 
     at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:247) 

Aggiornamento: dopo aver fatto sbt pulito (per suggerimento di seguito) è in esecuzione: vedi screenshot.

Answer 1

Ci possono essere un certo numero di cose che causano questo errore, che non sono specifici di Spark:

1. Bad accumulo, sbt clean compile quel cucciolo di nuovo.
2. Si ha una dipendenza nella cache nella cache .ivy2 che è in conflitto con una dipendenza della versione di progetto di Spark. Svuota la cache e riprova.
3. Il progetto che sta sviluppando su Spark ha una versione di libreria che è in conflitto con una dipendenza di Spark. Cioè, Spark può dipendere da "foo-0.9.7" mentre il tuo progetto inserisce "foo-0.8.4".

Prova a guardare prima quelli.