YARN: Qual è la differenza tra numero di esecutori e core dell'esecutore in Spark?

Question

Sto imparando Spark su AWS EMR. Nel processo sto cercando di capire la differenza tra il numero di esecutori (- num-executors) e executor core (--executor-core). Qualcuno può dirmi qui?

Anche quando sto cercando di inviare il seguente lavoro, sto ottenendo errore:

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 5 --executor-memory 1g -–conf spark.yarn.submit.waitAppCompletion=false wordcount.py s3://test/spark-example/input/input.txt s3://test/spark-example/output21 

Error: Unrecognized option: -–conf 

Answer 1

Numero di esecutori è il numero di contenitori distinti filato (processi penso/JVM) che verranno eseguiti l'applicazione .

Numero di core degli executor è il numero di thread che si ottiene all'interno di ciascun executor (contenitore).

Quindi il parallelismo (numero di thread/attività concorrenti in esecuzione) dell'applicazione spark è #executors X #executor-cores. Se hai 10 esecutori e 5 esecutori-core avrai (si spera) 50 attività in esecuzione contemporaneamente.