raccogliere RDD con buffer in pyspark

Question

Vorrei un modo per restituire righe dal mio RDD uno alla volta (o in piccoli lotti) in modo da poter raccogliere le righe localmente come ho bisogno di loro. Il mio RDD è abbastanza grande da non poter essere inserito nella memoria sul nodo del nome, pertanto l'esecuzione di collect() causerebbe un errore.

C'è un modo per ricreare l'operazione collect() ma con un generatore, in modo che le righe dall'RDD siano passate in un buffer? Un'altra opzione sarebbe quella di take() 100000 righe alla volta da un RDD memorizzato nella cache, ma non credo che take() ti consenta di specificare una posizione iniziale?

Answer 1

La migliore opzione disponibile è utilizzare RDD.toLocalIterator che raccoglie solo una singola partizione alla volta. Si crea un generatore standard di Python:

rdd = sc.parallelize(range(100000)) 
iterator = rdd.toLocalIterator() 
type(iterator) 

## generator 

even = (x for x in iterator if not x % 2) 

È possibile regolare quantità di dati raccolti in un unico batch usando un partizionamento specifico e di regolazione di un numero di partizioni.

Purtroppo viene fornito con un prezzo. Per raccogliere piccoli lotti devi avviare più lavori Spark ed è piuttosto costoso. Quindi, in generale, raccogliere un elemento al momento non è un'opzione.