Come configurare il riavvio automatico del driver applicazione su Filati

Question

Dalla Guida Spark programmazione

Per recuperare automaticamente da un errore del driver, l'infrastruttura di distribuzione che viene utilizzato per eseguire l'applicazione di streaming devono monitorare il processo conducente e rilancia il driver se fallisce. Diversi gestori di cluster hanno diversi strumenti per raggiungere questo obiettivo.

Spark STANDALON

• Spark Standalone - Un driver applicazione Spark può essere presentata per l'esecuzione all'interno del cluster Spark Standalone (vedi modalità di implementare cluster), vale a dire, il conducente applicazione stessa gira su un dei nodi worker. Inoltre, il gestore cluster autonomo può essere istruito per supervisionare il driver e riavviarlo se il driver non riesce a causa di un codice di uscita diverso da zero o a causa di un errore del nodo su cui è in esecuzione il driver. Vedi la modalità cluster e supervisiona nella guida Spark Standalone per maggiori dettagli.
• YARN - Yarn supporta un meccanismo simile per il riavvio automatico di un'applicazione. Si prega di fare riferimento alla documentazione del FILATO per maggiori dettagli. ....

  Così, la domanda è come sostenere il riavvio automatico per Spark streaming su Filati.

Grazie e cordiali saluti,

Tao

Answer 1

Quello che state cercando è l'insieme di istruzioni per lanciare la vostra applicazione in filato "modalità cluster": https://spark.apache.org/docs/latest/running-on-yarn.html

Ciò significa che l'applicazione del driver viene eseguita sul cluster su YARN (non sul computer locale). Come tale può essere riavviato da YARN se fallisce.