10
Un intervallo batch di dati genera uno e uno solo RDD in DStream indipendentemente da quanto è grande la quantità di dati?Quanti RDD vengono generati da DStream per un intervallo di batch?
A
risposta
8
Sì, esiste esattamente un RDD per intervallo batch, prodotto ad ogni intervallo di batch indipendentemente dal numero di record (inclusi nell'RDD - potrebbero esserci zero record all'interno).
Se non c'era, e la creazione di RDD era condizionata sul numero di elementi, non si avrebbe lo streaming sincrono (micro-batching), ma piuttosto una forma di elaborazione asincrona.
0
In Spark Streaming Programming Guide - Discretized Streams (DStreams), c'è:
Ogni RDD in DSTREAM contiene dati da un certo intervallo
Problemi correlati
- 1. Spark streaming DStream RDD per ottenere il nome file
- 2. Quanti thread vengono generati in parallelStream in Java 8?
- 3. Unione di più RDD generati nel ciclo
- 4. Spark Kafka Direct DStream - Quanti esecutori e partizioni RDD nella modalità cluster-cluster se sono impostati i num-executor?
- 5. Come determinare quanti elementi da un intervallo rientrano in un altro intervallo?
- 6. Quanti oggetti vengono creati
- 7. Quanti/per quanto tempo vengono salvati da git?
- 8. Quanti oggetti stringa vengono creati?
- 9. Per ciascun RDD in un DStream, come posso convertirlo in un array o qualche altro tipico tipo di dati Java?
- 10. Output Dstream di Apache Spark in Python
- 11. Per curiosità: come vengono generati i numeri seriali? Suggerimenti, algoritmi?
- 12. Gli eventi vengono generati, attivati o attivati?
- 13. Come generare numeri casuali che si sommano a un determinato numero e vengono generati in un intervallo in JavaScript?
- 14. Come creare la raccolta di RDD da RDD?
- 15. Controllare il controllo per determinare gli eventi che vengono generati?
- 16. Gli shim non vengono generati per i metodi .NET
- 17. Perché vengono generati file di dump di base?
- 18. inizializzare un RDD per svuotare
- 19. Creazione di un dataframe Spark da un RDD di liste
- 20. Come creare Spark RDD da un iteratore?
- 21. Spark: creazione di un RDD da un servizio REST
- 22. GCM/APNS Come vengono generati gli ID di registrazione
- 23. come vengono generati i numeri di inode in linux tmpfs?
- 24. Come creare un set di dati Spark da un RDD
- 25. Da DataFrame a RDD [LabeledPoint]
- 26. Configurazione intervallo di commit batch di primavera non funzionante
- 27. Conversione da RDD a LabeledPoint
- 28. Esiste un "Spiega RDD" scintille
- 29. Estrarre un intervallo da NSArray
- 30. PHP: determina quanti byte vengono inviati tramite http