Come eseguire processi simultanei (azioni) in Apache Spark usando contesto sola scintilla

Question

Si dice in Apache Spark documentazione "all'interno di ogni applicazione Spark, più‘lavori’(Spark azioni) può essere in esecuzione contemporaneamente, se sono state presentate da diversi fili ". Qualcuno può spiegare come ottenere questa concorrenza per il seguente codice di esempio?

SparkConf conf = new SparkConf().setAppName("Simple_App"); 
    JavaSparkContext sc = new JavaSparkContext(conf); 

    JavaRDD<String> file1 = sc.textFile("/path/to/test_doc1"); 
    JavaRDD<String> file2 = sc.textFile("/path/to/test_doc2"); 

    System.out.println(file1.count()); 
    System.out.println(file2.count()); 

Questi due lavori sono indipendenti e devono essere eseguiti contemporaneamente.
Grazie.

Answer 1

provare qualcosa di simile:

final JavaSparkContext sc = new JavaSparkContext("local[2]","Simple_App"); 
    ExecutorService executorService = Executors.newFixedThreadPool(2); 
    // Start thread 1 
    Future<Long> future1 = executorService.submit(new Callable<Long>() { 
     @Override 
     public Long call() throws Exception { 
      JavaRDD<String> file1 = sc.textFile("/path/to/test_doc1"); 
      return file1.count(); 
     } 
    }); 
    // Start thread 2 
    Future<Long> future2 = executorService.submit(new Callable<Long>() { 
     @Override 
     public Long call() throws Exception { 
      JavaRDD<String> file2 = sc.textFile("/path/to/test_doc2"); 
      return file2.count(); 
     } 
    }); 
    // Wait thread 1 
    System.out.println("File1:"+future1.get()); 
    // Wait thread 2 
    System.out.println("File2:"+future2.get());