Aggiornamento Apache Spark da 1.5.2 a 1.6.0 utilizzando homebrew che porta a un errore di autorizzazione negato durante l'esecuzione

Question

Ho appena aggiornato Spark da 1.5.2 a 1.6.0 utilizzando Homebrew e reimpostato la variabile di ambiente SPARK_HOME su /usr/local/Cellar/apache-spark/1.6.0. Ora durante l'esecuzione di pyspark, dà un errore di autorizzazione negato.

Se vado nella precedente directory di installazione 1.5.2 ed eseguo pyspark da lì, funziona correttamente. Ma l'esecuzione di pyspark dalla directory di installazione 1.6.0 fallisce con questo errore di autorizzazione negato.

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

cosa potrebbe causare questo?

Answer 1

lavorate da fare unset SPARK_HOME && pyspark (credito a Noli sotto)

voluto ottenere lo SparkContext esecuzione in ipython, si rivelò essere tranquillo semplice.

unset SPARK_HOME IPYTHON=1 pyspark

Answer 2

Ho riscontrato lo stesso problema e la soluzione più semplice è impostare $SPARK_HOME su /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/.

È anche possibile creare direttamente dal sorgente e è possibile trovare le istruzioni here.

In pratica basta fare

git clone https://github.com/apache/spark/` 
cd spark 
git checkout origin/branch-X.Y 

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package 

È necessario impostare la $SPARK_HOME al livello di directory superiore del codice sorgente di scintilla.

Answer 3

Un biglietto sulla pagina del progetto ha aiutato:

unset SPARK_HOME && spark-submit 

https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967

Answer 4

Ho anche affrontato lo stesso errore come permesso negato per l'avvio spark-shell. Ho cambiato i permessi dei file. Ha funzionato bene per me. Vai alla directory principale della spark-1.6.x e procedere come segue:

chmod 777 spark-1.6.x -R 

Questo cambierà il permesso del file in modo ricorsivo.