come uccidere job hadoop

Question

Voglio uccidere tutti i miei lavori hadoop automaticamente quando il mio codice incontra un'eccezione non gestita. Mi chiedo quale sia la migliore pratica per farlo?

Grazie

Answer 1

Un'eccezione sarà (supponendo che è ripetibile come dati pertinenti al contrario di errori di lettura da un particolare nodo di dati) eventualmente sicuro il lavoro comunque.

È possibile configurare il numero massimo di volte una determinata mappa o ridurre compito può non prima che l'intero processo ha esito negativo per le seguenti proprietà:

• mapred.map.max.attempts - Il numero massimo di tentativi per mappa compito. In altre parole, il framework proverà ad eseguire un compito della mappa tante volte prima di rinunciare ad esso.
• mapred.reduce.max.attempts - Come sopra, ma per ridurre i compiti

Se si vuole fallire il lavoro fuori al primo fallimento, impostare questo valore dal valore predefinito di 4 a 1.

Answer 2

A seconda la versione, fare:

versione < 2.3.0

uccidere un lavoro in Hadoop:

hadoop job -kill $jobId 

È possibile ottenere un elenco di fare tutto di jobId:

hadoop job -list 

---

versione> = 2.3.0

uccidere un lavoro in Hadoop:

yarn application -kill $ApplicationId 

È possibile ottenere un elenco di tutti i ApplicationId fare:

yarn application -list 

Answer 3

Basta con forza uccidere l'ID del processo, il lavoro Hadoop sarà anche ucciso automaticamente. Utilizzare questo comando:

kill -9 <process_id> 

eg: process ID no: 4040 namenode

username@hostname:~$ kill -9 4040 

Answer 4

L'uso del comando folloing è ammortizzata

hadoop job -list 
hadoop job -kill $jobId 

considerano utilizzando

mapred job -list 
mapred job -kill $jobId 

Answer 5

Run list per mostrare tutti i posti di lavoro, quindi utilizzare il jobID/applicationID nell'appropriato c ommand.

Uccidi mapred impiego: Lavoro filato

mapred job -list 
mapred job -kill <jobId> 

uccisioni:

yarn application -list 
yarn application -kill <ApplicationId>