spark - filter all'interno della mappa

Question

Sto provando a filtrare la funzione della mappa interna. Fondamentalmente il modo in cui lo farò nella classica mappa-reduce è che il mapper non scriverà nulla al contesto quando i criteri di filtro si incontrano. Come posso ottenere risultati simili con la scintilla? Non riesco a restituire null dalla funzione map in quanto non riesce nel passaggio shuffle. Posso usare la funzione filtro ma sembra un'iterazione inutile del set di dati mentre posso eseguire lo stesso compito durante la mappa. Posso anche provare a generare null con la chiave dummy ma questo è un pessimo rimedio.

Answer 1

ci sono poche opzioni:

rdd.flatMap: rdd.flatMap si appiattisce una collezione Traversable nella RDD. Per scegliere gli elementi, in genere viene restituito un valore Option come risultato della trasformazione.

rdd.flatMap(elem => if (filter(elem)) Some(f(elem)) else None) 

rdd.collect(pf: PartialFunction) consente di fornire una funzione parziale che può filtrare e trasformare elementi dall'originale RDD. Puoi utilizzare tutta la potenza della corrispondenza del modello con questo metodo.

rdd.collect{case t if (cond(t)) => f(t)} 
rdd.collect{case t:GivenType => f(t)} 

Come Dean Wampler menziona nei commenti, rdd.map(f(_)).filter(cond(_)) potrebbe essere buono e ancora più veloce rispetto alle altre opzioni piu 'terse' di cui sopra.

Dove f è una funzione di trasformazione (o mappa).