Aumenta la memoria di spunta quando si utilizza locale [*]

Come si aumenta la memoria di spunta quando si utilizza il locale [*]?Aumenta la memoria di spunta quando si utilizza locale [*]

ho provato a fissare la memoria in questo modo:

val conf = new SparkConf() 
    .set("spark.executor.memory", "1g") 
    .set("spark.driver.memory", "4g") 
    .setMaster("local[*]") 
    .setAppName("MyApp")

Ma ho ancora:

MemoryStore: MemoryStore started with capacity 524.1 MB

Questo ha qualcosa a che fare con:

.setMaster("local[*]")

fonte

2015-09-21 BAR

Hai provato ad aumentare 'spark.executor.memory'? –

. SetMaster ("local [*]") serve per utilizzare il core disponibile sul computer locale per eseguire l'elaborazione –

sono stato in grado di risolvere questo eseguendo SBT con:

sbt -mem 4096

Tuttavia il MemoryStore è metà della dimensione. Sto ancora esaminando dove si trova questa frazione.

fonte

2015-09-21 08:25:23 BAR

La memoria di archiviazione totale viene calcolata da spark.storage.memoryFraction * spark.storage.safetyFraction - che sono 0,6 e 0,9 di default – Gillespie

@Gillespie Grazie – BAR

Questa risposta non è corretta . Questo non è il modo in cui si aumenta la memoria quando si esegue l'app in un cluster locale autonomo.Tuttavia i commenti di @Gillespie sono molto utili + la sua risposta è il modo per farlo! – eliasah

Supponendo che si stai usando la scintilla shell .. l'impostazione spark.driver.memory nella tua applicazione non funziona perché il tuo d il processo river è già avviato con la memoria predefinita.

è possibile lanciare il vostro scintilla scocca utilizzando:

./bin/spark-shell --driver-memory 4g

oppure si può impostare in scintilla defaults.conf:

spark.driver.memory 4g

Se aprite un'applicazione utilizzando scintilla presentare , è necessario specificare la memoria del driver come argomento:

./bin/spark-submit --driver-memory 4g --class main.class yourApp.jar

fonte

2015-09-21 08:02:30 Gillespie

Non sto utilizzando la shell. – BAR

quindi è necessario fornire la memoria del driver come argomento quando si avvia l'applicazione. Il punto è che quando il tuo SparkConf viene letto nella tua applicazione, è troppo tardi. – Gillespie

Quindi dovrebbe andare in SBT? – BAR

La frazione del cumulo utilizzato per il memoriale di Spark la cache è predefinita di 0,6, quindi se hai bisogno di più di 524,1 MB, devi aumentare l'impostazione spark.executor.memory :)

Tecnicamente potresti anche aumentare la frazione utilizzata per la cache di memoria di Spark, ma credo che sia scoraggiato o in richiede meno di fare qualche configurazione aggiuntiva. Vedi https://spark.apache.org/docs/1.0.2/configuration.html per maggiori dettagli.

fonte

2015-09-21 08:22:48

Provato --driver-memory 4g, , non ha funzionato per aumentare la memoria di lavoro. Tuttavia, ho notato che bin/spark-submit stava recuperando _JAVA_OPTIONS, impostandolo su -Xmx4g risolto. Io uso jdk7

fonte

2016-09-01 00:44:28 bshyamkumar

Aumenta la memoria di spunta quando si utilizza locale [*]

risposta

Problemi correlati