Perché Scala 2.11 e Spark con capesante portano a "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?

Question

Sto utilizzando Scala 2.11, Spark e Scallop (https://github.com/scallop/scallop). Ho usato SBT per costruire un vaso di grasso applicazione senza Spark fornito dipendenze (questo e ': analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar)

Sono in grado di eseguire il bel programma in SBT

ho cercato di eseguirlo dalla riga di comando come segue.:

time ADD_JARS=analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar java -cp /Applications/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar:analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar com.dtex.analysis.transform.GenUserSummaryView -d /Users/arun/DataSets/LME -p output -s txt -o /Users/arun/tmp/LME/LME 

ottengo il seguente messaggio di errore:

Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse$JavaMirror; at org.rogach.scallop.package$.(package.scala:37) at org.rogach.scallop.package$.(package.scala) at com.dtex.analysis.transform.GenUserSummaryView$Conf.delayedEndpoint$com$dtex$analysis$transform$GenUserSummaryView$Conf$1(GenUserSummaryView.scala:27) at com.dtex.analysis.transform.GenUserSummaryView$Conf$delayedInit$body.apply(GenUserSummaryView.scala:26) at scala.Function0$class.apply$mcV$sp(Function0.scala:40) at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12) at org.rogach.scallop.AfterInit$class.delayedInit(AfterInit.scala:12) at org.rogach.scallop.ScallopConf.delayedInit(ScallopConf.scala:26) at com.dtex.analysis.transform.GenUserSummaryView$Conf.(GenUserSummaryView.scala:26) at com.dtex.analysis.transform.GenUserSummaryView$.main(GenUserSummaryView.scala:54) at com.dtex.analysis.transform.GenUserSummaryView.main(GenUserSummaryView.scala)

Answer 1

il problema è che hai utilizzato versioni incompatibili Scala, vale a dire Spark era compilato con Scala 2.10 e stavi cercando di usare Scala 2.11.

Sposta tutto alla versione di Scala 2.10 e assicurati di aggiornare anche il tuo SBT.

Si può anche provare a compilare i sorgenti Spark per Scala 2.11.7 e utilizzarlo.

Answer 2

ero anche incontrato con lo stesso problema con accensione a presentare, nel mio caso:

Spark Il lavoro è stato compilato con: Scala 2.10.8

versione Scala con la quale Spark è stato compilato sul cluster: Scala 2.11.8

Per verificare la versione di Spark e la versione di Scala nel cluster utilizzare il comando "spark-shell".

Dopo aver compilato la sorgente Spark Job con Scala 2.11.8, quindi inviato il lavoro & ha funzionato !!!.