comportamento Iterator in Flink reduceGroup

Question

Io sono la creazione di un sistema che dovrebbe gestire enormi quantità di dati e ho bisogno di capire come il ridurre operatore di gruppo funziona

Ho un insieme di dati in cui applico un groupby e, successivamente, un reduceGroup Come si comporta l'iteratore passato alla funzione reduceGruppo? è un iteratore pigro che carica i dati quando vengono richiesti o uno desideroso che prepara tutti i dati in memoria quando viene creato?

sto usando l'API Scala di Flink 0,9 milestone1

Answer 1

Flink esegue il gruppo-by per un groupReduce utilizzando un operatore di sorta. L'operatore di ordinamento riceve un determinato budget di memoria per l'ordinamento. Finché i dati rientrano in questo budget, l'ordinamento avverrà in memoria. Altrimenti, l'ordinamento diventa un ordinamento di fusione esterno e si riversa sul disco. Flink legge il flusso di dati ordinato e applica la funzione groupReduce "al volo". I dati di un gruppo non vengono letti completamente in memoria prima dell'applicazione della funzione. Quindi, è possibile elaborare gruppi molto grandi se la funzione utente non materializza i record del gruppo stesso.