Esecuzione lavoro scintilla con 1 TB di dati con seguente configurazione:Contenitore ucciso da YARN per il superamento dei limiti di memoria. 52,6 GB di memoria fisica da 50 GB utilizzati. Considerare aumentando spark.yarn.executor.memoryOverhead
33G esecutore di memoria 40 esecutori 5 core per esecutore
17 g memoryoverhead
Quali sono le possibili ragioni di questo errore?
Da dove hai ricevuto questo avviso? Quali log particolari? La tua fortuna hai persino ricevuto un avvertimento :). Infatti 17g sembra abbastanza, ma poi hai 1 TB di dati. Ho dovuto usare più come 30g per meno dati di quello.
Il motivo dell'errore è che il filato utilizza memoria aggiuntiva per il contenitore che non vive nello spazio di memoria dell'esecutore. Ho notato che più attività (partizioni) significano molta più memoria utilizzata, e le mescolanze sono generalmente più pesanti, a parte il fatto che non ho visto altre corrispondenze con quello che faccio. Qualcosa in qualche modo sta mangiando la memoria inutilmente.
Sembra che il mondo si stia trasferendo a Mesos, forse non ha questo problema. Ancora meglio, usa Spark da solo.
Altre informazioni: http://www.wdong.org/wordpress/blog/2015/01/08/spark-on-yarn-where-have-all-my-memory-gone/. Questo collegamento sembra abbastanza pericoloso (è un tuffo nel modo in cui la YARN inghiotte la memoria). Questo collegamento potrebbe funzionare: http://m.blog.csdn.net/article/details?id=50387104. Se non provare googling "scintilla su filato in cui ho tutta la mia memoria andata"
Il link è morto ... –
Come menzionato @BarbarosAlp, il link è un 404! ** Sempre ** fornisci l'essenza del link nella tua domanda .... – gsamaras
@gsamaras Aggiornato – samthebest
Un possibile problema è che la memoria virtuale sta diventando molto grande in proporzione alla memoria fisica. È possibile impostare yarn.nodemanager.vmem-check-enabled su false in yarn-site.xml per vedere cosa succede. Se l'errore si interrompe, il problema potrebbe essere questo.
ho risposto a una domanda simile altrove e ha fornito ulteriori informazioni là: https://stackoverflow.com/a/42091255/3505110
Se puoiaffiggere piena di errore nella console sarebbe utile – WoodChopper
Avete considerato rafforzare lo spark.yarn.executor.memoryOverhead? – lxg
Grazie per la risposta lxg. Spark.yarn.executor.memoryOverhead è 0.1 di memoria dell'esecutore e gli ho già dato 0.5 della memoria dell'esecutore. Quanto dovrei aumentare questo e ciò che sta accadendo in background che porta questo avviso – Renu