RDD partizionamento in streaming scintilla

Question

I lotti in streaming scintilla sono i lotti di RDD .Suppose lotto di 3 RDDs.

scintilla anche la documentazione dice che un blocco viene creato ogni 200ms di ricevitore, e la partizione è assegnato al blocco.

In 1 secondo ho un lotto di 3 RDD, con 5 blocchi se si considera 200 ms.

Così come sarà un RDD ottenere partizionato tra i nodi dei lavoratori, è il singolo RDD che verrà partizionato o una partita completa.

Forse l'ho preso in modo sbagliato. Please guide me

Answer 1

Un lotto in streaming corrisponde a un RDD. Quel RDD avrà n partizioni, dove n = intervallo batch/intervallo di blocco. Supponiamo che tu abbia l'intervallo di blocco standard di 200ms e un intervallo batch di 2 secondi, quindi avrai 10 partizioni. I blocchi sono creati da un ricevitore e ciascun ricevitore è allocato in un host. Quindi, quelle 10 partizioni sono in un singolo nodo e sono replicate in un secondo nodo.

Quando la RDD viene inviato per l'elaborazione, i padroni di casa che eseguono il compito leggeranno i dati da tale host. Le attività in esecuzione sullo stesso nodo avranno la località "NODE_LOCAL", mentre le attività eseguite su altri nodi avranno la località "ANY" e impiegheranno più tempo.

Pertanto, per migliorare l'elaborazione parallela, si consiglia di allocare più ricevitori e utilizzare unione per creare un unico DSTREAM per l'ulteriore elaborazione. In questo modo i dati saranno consumati ed elaborati da diversi nodi in parallelo.

Answer 2

È ancora applicabile alla versione più recente della scintilla?

Ho letto an article in cui lo scenario con più ricevitori su spark è obsoleto e invece nuovo kafka api diretto (createDirectStream) si prenderà cura di praticamente tutto per te.