Posso cambiare la memoria dell'esecutore di Spark in fase di esecuzione?

Question

È possibile modificare il valore della memoria dell'esecutore in fase di esecuzione in Spark? La ragione per cui voglio farlo è che per alcune attività della mappa voglio che lo scheduler di thread metta ogni attività su un nodo separato. Aumentando la memoria dell'esecutore vicino alla memoria totale di un nodo, mi assicuro che siano distribuiti su ciascun nodo. In seguito, voglio eseguire più attività per nodo, quindi abbasserei la memoria dell'esecutore per loro.

Answer 1

No, non è possibile.

Ogni executor si avvia sulla propria JVM e non è possibile modificare la memoria JVM in fase di esecuzione. Vedere per riferimento: Setting JVM heap size at runtime