Come uscire scintilla presentare dopo la presentazione

Question

Al momento della presentazione del programma in streaming utilizzando scintilla scintilla presentare (modalità FILATO) esso conservazione polling lo stato e mai uscire

C'è qualche opzione nel scintilla presentare per uscire dopo il sottomissione?

=== perché questo problema mi ===

Il programma di streaming verrà eseguito per sempre e non ho bisogno l'aggiornamento di stato

posso CTRL + C per fermarlo se comincio manualmente ma ho un sacco di streaming di contesto per iniziare e ho bisogno di iniziare a utilizzare lo script

posso mettere il programma scintilla presentare in background, ma dopo un sacco di processo in background java creato, l'utente corrispondente, nON in grado di eseguire qualsiasi altro processo java perché JVM non può creare il thread GC

Answer 1

Interessante. Non ho mai pensato a questo problema. Non sono sicuro che ci sia un modo pulito per farlo, ma semplicemente uccido il processo di invio sulla macchina e il processo di filatura continua a funzionare finché non lo interrompi in modo specifico. Quindi puoi creare uno script che esegua la scintilla invia e poi la uccide. Quando in realtà vorrai interrompere il lavoro, usa yarn-kill. Sporco ma funziona.

Answer 2

comando timeout TIME CMD si chiuderà CMD dopo il tempo

Answer 3

So che questa è una vecchia questione, ma c'è un modo per farlo ora impostando --conf spark.yarn.submit.waitAppCompletion=false quando si utilizza spark-submit. Con questo il client uscirà dopo aver inviato correttamente l'applicazione.

In modalità cluster YARN, controlla se il client attende di uscire fino al l'applicazione completa. Se impostato su true, il processo client sarà rimanere vivo riportando lo stato dell'applicazione. In caso contrario, il processo client uscirà dopo l'invio.

Inoltre, potrebbe essere necessario impostare --deploy-mode a cluster

In modalità cluster, il driver Spark viene eseguito all'interno di un processo di maestro di applicazione che è gestito dalla FILATO sul cluster, e il client può andare via dopo aver avviato l'applicazione.

Altro https://spark.apache.org/docs/1.6.1/running-on-yarn.html