riduttore concetto in Spark

Question

Vengo da uno sfondo Hadoop e ho una conoscenza limitata di Spark. Basandomi su ciò che apprendo finora, Spark non ha nodi di mapper/reducer e invece ha nodi driver/worker. Il lavoratore è simile al mappatore e il driver è (in qualche modo) simile al riduttore. Poiché esiste un solo programma driver, ci sarà un riduttore. Se è così, come programmi semplici come il conteggio delle parole per set di dati molto grandi possono essere fatti in scintilla? Perché il driver può semplicemente esaurire la memoria.

Answer 1

Il driver è più di un controllore del lavoro, che recupera solo i dati se l'operatore lo richiede. Se l'operatore su cui stai lavorando restituisce un RDD/DataFrame/Unit, i dati rimangono distribuiti. Se restituisce un tipo nativo, in effetti recupererà tutti i dati.

Altrimenti, il concetto di mappa e riduzione sono un po 'obsoleti qui (da un tipo di lavoro che si prospetta). L'unica cosa che conta davvero è se l'operazione richiede un shuffle o meno. Puoi vedere i punti di shuffle suddivisi per fase nell'interfaccia utente o tramite un toDebugString (in cui ogni livello di indentazione è un shuffle).

Tutto ciò che viene detto, per una vaga comprensione, è possibile equiparare tutto ciò che richiede un rimescolamento a un riduttore. Altrimenti è un mappatore.

scorso, di equiparare quello che hai detto contare esempio:

sc.textFile(path) 
    .flatMap(_.split(" ")) 
    .map((_, 1)) 
    .reduceByKey(_+_) 

In quanto sopra, questo sarà fatto in una fase come il caricamento dei dati (textFile), splitting (flatMap), e map ping può tutto essere fatto indipendentemente dal resto dei dati. Non è necessario alcun shuffle finché non viene chiamato reduceByKey poiché sarà necessario combinare tutti i dati per eseguire l'operazione ... TUTTAVIA, questa operazione deve essere associativa per un motivo. Ogni nodo eseguirà l'operazione definita in reduceByKey localmente, unendo solo il set di dati finale dopo. Questo riduce sia la memoria che il sovraccarico della rete.

NOTA che reduceByKey restituisce un RDD ed è quindi un transformation, quindi i dati viene mescolato mediante un HashPartitioner. Tutti i dati NON ritornano al driver, si sposta semplicemente sui nodi che hanno le stesse chiavi in ​​modo che possa avere il suo valore finale unito.

Ora, se si utilizza un action come reduce o, peggio ancora, collect, quindi non sarà possibile ottenere un RDD indietro il che significa che i dati si tira indietro al driver e avrete bisogno di spazio per essa.

Here is my fuller explanation of reduceByKey if you want more. O come questo si interrompa in qualcosa come combineByKey