2015-12-07 11 views
5

abbiamo un cluster con circa 20 nodi. Questo cluster è condiviso tra molti utenti e lavori. Pertanto, è molto difficile per me osservare il mio lavoro in modo da ottenere alcune metriche come l'utilizzo della CPU, I/O, rete, memoria ecc ...Come ottenere le metriche di una scintilla di lavoro?

Come posso ottenere una metrica a livello di lavoro.

PS: il cluster ha già installato Ganglia ma non è sicuro di come avrei potuto farlo funzionare a livello di lavoro. Quello che vorrei fare è monitorare la risorsa utilizzata dal cluster per eseguire solo il mio lavoro.

+0

Non so se si capisce correttamente. Vuoi ottenere diverse metriche del cluster direttamente dal tuo lavoro? O vuoi sapere quante risorse impiega il tuo lavoro? – maxteneff

+0

@maxteneff, scusa se non sono stato chiaro sul mio post. Voglio sapere quante risorse ha utilizzato il mio lavoro. – diplomaticguru

risposta

1

è possibile ottenere le metriche di lavoro scintilla da Spark Storia Server, che visualizza le informazioni su:
- Un elenco di fasi di pianificazione e compiti
- Una sintesi di RDD dimensioni e utilizzo della memoria
- Un Informazioni ambientali
- a Informazioni sui esecutori esecuzione

1, Set spark.eventLog.enabled true prima di iniziare l'applicazione scintilla. Questo configura Spark per registrare gli eventi Spark sull'archiviazione persistente.
2, Set spark.history.fs.logDirectory, questa è la directory che contiene i registri eventi dell'applicazione che devono essere caricati dal server della cronologia;
3, avviare il server storia eseguendo: ./sbin/start-history-server.sh

riferisca a prego sotto link per maggiori informazioni:
http://spark.apache.org/docs/latest/monitoring.html

Problemi correlati