È possibile avviare un'istanza incorporata del nodo Apache Spark?

Question

Voglio avviare un'istanza di un cluster Apache Spark autonomo incorporato nella mia app java. Ho provato a trovare qualche documentazione sul loro sito web ma non ho ancora visto.

È possibile?

Answer 1

È possibile creare SparkContext in modalità locale, è solo bisogno di fornire "locale" come un maestro scintilla URL per SparkConf

val sparkConf = new SparkConf(). 
    setMaster("local[2]"). 
    setAppName("MySparkApp") 

val sc = new SparkContext(sparkConf) 

Answer 2

Sì - è possibile utilizzare Spark in modo integrato con un "locale" maestro.

SparkConf sparkConf = new SparkConfig(); 
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number) 
sparkConf.setAppName("MyApp"); 
SparkContext sc = new SparkContext(sparkConf); 

Questo eseguirà Spark all'interno della JVM.