Impossibile avviare Apache Spark su Windows utilizzando Cygwin

Question

Mi dispiace se questo è troppo banale ma sono molto nuovo a Spark. Ho costruito Apache Spark su Windows dal codice usando Maven. Ho usato Cygwin per costruire e ha funzionato bene. Ora non riesco ad avviarlo usando il comando (./start-master.sh) dalla directory sbin.

ottengo l'errore sotto: non è riuscito a lanciare org.apache.spark.deploy.master.Master:

Error: Could not find or load main class org.apache.spark.launcher.Main 
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host 

Capisco che è alla ricerca della scintilla-launcher_2.10-1.5.1. jar nel classpath ma non sono in grado di identificare negli script dove sta definendo il classpath o la directory lib.

Answer 1

Si potrebbe seguire le Building a Runnable Distribution passi come Gimby detto, in questo modo, per esempio:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn 

---

Come detto Patrick McGloin, si potrebbe anche avviare un cluster Spark su Windows stesso, in questo modo, per esempio:

spark-class.cmd org.apache.spark.deploy.master.Master 
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077 

Si può leggere di più in Spark Standalone Mode e How to set up Spark cluster on Windows machines?

---

Infine, come OP ha menzionato, (s) è stato in grado di creare una distribuzione eseguibile che ha creato un nuovo file tar di scintilla Custom nella directory padre. (S) ha preso questo file, lo ha decompresso in una directory diversa, è entrato nella sottodirectory bin e quindi è stato in grado di richiamare lo scala-shell.