Stavo cercando di eseguire scintilla presentare e ottengo " Impossibile trovare l'assembly Spark JAR. È necessario costruire Spark prima di eseguire questo programma." Quando provo a lanciare spark-shell ottengo lo stesso errore. Cosa devo fare in questa situazione.Perché il scintilla presentare e scintilla-shell fallire con "Impossibile trovare l'assembly Spark JAR. È necessario costruire Spark prima di eseguire questo programma."?
La confezione Spark non include il codice compilato Spark. Ecco perché hai ricevuto il messaggio di errore da questi script spark-submit e spark-shell.
devi scaricare una versione pre-costruito nella sezione "Scegliere un tipo di pacchetto" da the Spark download page.
Ho lo stesso errore, e ho scaricato una versione precostruita di scintilla .. Esecuzione di finestre – Marin
@Marin Se stai facendo una domanda per il tuo problema, per favore, crea una nuova domanda e descrivi il tuo ambiente (versione Spark, versione del sistema operativo, versione java, ecc.) – gonbe
provare a eseguire mvn -DskipTests clean package primo a costruire Spark.
Su Windows, ho scoperto che se si è installato in una directory che dispone di uno spazio nel percorso (C: \ Program Files \ Spark) l'installazione fallirà. Spostalo nella root o in un'altra directory senza spazi.
10x !! risolto per me. – user2656851
Questa è la migliore risposta. La risposta accettata è ovvia. –
Questo lo ha risolto per me. – Tensigh
Se i file binari spark sono in una cartella in cui il nome della cartella ha spazi (ad esempio "Programmi (x86)"), non ha funzionato. L'ho cambiato in "Program_Files", quindi il comando spark_shell funziona in cmd.
Questa è identica alla risposta di jurban1997 (3 mesi). – melpomene
Spark Installazione:
Per la macchina della finestra:
Download spark-2.1.1-bin-hadoop2.7.tgz from this site https://spark.apache.org/downloads.html Unzip and Paste your spark folder in C:\ drive and set environment variable. If you don’t have Hadoop, you need to create Hadoop folder and also create Bin folder in it and then copy and paste winutils.exe file in it. download winutils file from [https://codeload.github.com/gvreddy1210/64bit/zip/master][1] and paste winutils.exe file in Hadoop\bin folder and set environment variable for c:\hadoop\bin; create temp\hive folder in C:\ drive and give the full permission to this folder like: C:\Windows\system32>C:\hadoop\bin\winutils.exe chmod 777 /tmp/hive open command prompt first run C:\hadoop\bin> winutils.exe and then navigate to C:\spark\bin> run spark-shell
servono ulteriori informazioni. Come pacchettizzare il tuo progetto? Riga di comando che lancia spark-submit .. – gasparms
I pacchetto tramite comando: pacchetto mvn –