Accumulatore di scintille non visualizzato nella scintilla WebUI

Question

Uso lo spark streaming. Secondo la Guida alla Programmazione Spark (vedi http://spark.apache.org/docs/latest/programming-guide.html#accumulators), gli accumulatori nominati verranno visualizzati nell'UI Web come di seguito: Purtroppo, non riesco a trovarlo da nessuna parte. Sto registrando gli accumulatori come questo (Java):

LongAccumulator accumulator = new LongAccumulator();  
ssc.sparkContext.sc().register(accumulator, "my accumulator"); 

Sto utilizzando Spark 2.0.0.

Answer 1

Non ho un esempio di flusso di lavoro, ma nell'esempio non streaming questa UI può essere trovata nella scheda degli stage quando si sceglie una fase specifica. Inoltre, io in genere creare l'accumulatore in questo modo:

val accum = sc.longAccumulator("My Accumulator") 

L'equivalente in streaming scintilla sarebbe probabilmente per sostituire sc con ssc.SparkContext

Answer 2

Ha funzionato per me. Qui di seguito è il mio codice di esempio

Accumulator<Integer> spansWritten = jsc.sparkContext().intAccumulator(0,"Spans_Written"); 
JavaDStream<Span> dStream = SourceFactory.getSource().createStream(jsc) 
    .map(s -> { 
     spansWritten.add(1); 
     return s; 
    }); 

Tuttavia, quando ho provato ad usarli all'interno di un decoder durante la creazione di flusso per Kafka, non si fece vedere nell'interfaccia utente.

Ecco come appare nell'interfaccia utente (scheda selezionare le fasi dalla parte superiore, e fare clic su una delle fasi) screen shot