apache-spark-1.4

6calore

3risposta

Impossibile avviare la shell di accensione

Sto utilizzando Spark 1.4.1. Posso usare spark-submit senza problemi. Ma quando mi sono imbattuto ~/spark/bin/spark-shell ho avuto l'errore sotto Ho configurato SPARK_HOME e JAVA_HOME. Tuttavia, non e

6calore

1risposta

In Apache Spark SQL, come chiudere il collegamento metastore da HiveContext

Il mio progetto ha unit test per le diverse configurazioni HiveContext (a volte si trovano in un unico file in cui sono raggruppati per funzioni.) Dopo l'aggiornamento a Spark 1.4 che incontro un sacc

25calore

4risposta

come modificare una colonna Dataframe da String type a Double type in pyspark

Ho un dataframe con colonna come String. Volevo cambiare il tipo di colonna in Double type in pyspark. seguito è il modo, l'ho fatto, - toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) ch

6calore

2risposta

Come gestire voci nulle in SparkR

Ho un DataFrame SparkSQL. Alcune voci in questi dati sono vuote ma non si comportano come NULL o NA. Come posso rimuoverli? Qualche idea? In R posso facilmente rimuoverli ma in sparkR si dice che c'è

11calore

2risposta

Creazione di Apache Spark tramite SBT: jarfile non valido o danneggiato

Sto tentando di installare Spark sul mio computer locale. Ho seguito la guida this. Ho installato JDK-7 (anche con JDK-8) e Scala 2.11.7. Si verifica un problema quando si tenta di utilizzare sbt per