2015-04-10 12 views
39

Possiedo un'applicazione Spark in esecuzione in cui occupa tutti i core in cui alle altre applicazioni non verrà assegnata alcuna risorsa.Spark Kill Running Application

Ho fatto alcune ricerche veloci e le persone hanno suggerito di usare YARN kill o/bin/spark-class per uccidere il comando. Comunque, sto usando la versione CDH e/bin/spark-class non esiste affatto, anche l'applicazione kill YARN non funziona.

enter image description here

Can chiunque con me con questo?

+1

se si è in un test env: ps aux | grep spark -> prendi il pid di spark e uccidilo dalla riga di comando – eliasah

+0

@eliasah "test env", per me il lavoro è già distribuito .. –

+1

vuoi uccidere un lavoro in produzione ???? – eliasah

risposta

85
  • copiare passato l'ID applicazione dallo scheduler scintilla, per esempio application_1428487296152_25597
  • connettersi al server che hanno avviare il lavoro
  • yarn application -kill application_1428487296152_25597
+1

Come si arriva allo spark scheduler? – Hunle

+0

È uguale all''interfaccia utente Web? – Hunle

+0

@Hunle È possibile ottenere l'ID dall'interfaccia utente 'Spark History UI' o YARN' RUNNING' (http: // yarn-host: 8088/cluster/apps/RUNNING) o dall'URL 'Spark Job Web UI' (http: // host di thread: 8088/proxy/application_ _ ) –