7
Ho un'istanza di org.apache.spark.rdd.RDD [MyClass]. Come posso controllare a livello di codice se l'istanza è persistente \ inmemory?Come verificare se Spark RDD è in memoria?
A
risposta
10
Si desidera RDD.getStorageLevel. Restituirà StorageLevel.None se vuoto. Tuttavia, questo è solo se è contrassegnato per la memorizzazione nella cache o no. Se si desidera che lo stato attuale è possibile utilizzare l'API sviluppatore sc.getRDDStorageInfo o sc.getPersistentRDD
1
È possibile chiamare rdd.getStorageLevel.useMemory per verificare se è in memoria o meno come segue:
scala> myrdd.getStorageLevel.useMemory
res3: Boolean = false
scala> myrdd.cache()
res4: myrdd.type = MapPartitionsRDD[2] at filter at <console>:29
scala> myrdd.getStorageLevel.useMemory
res5: Boolean = true
Problemi correlati
- 1. RDD Aggregate in spark
- 2. Come creare Spark RDD da un iteratore?
- 3. Apache Spark: Come posso convertire uno Spark DataFrame in un RDD con tipo RDD [(Tipo1, Tipo2, ...)]?
- 4. Come ottenere l'ennesima riga di Spark RDD?
- 5. Implementazione di Spark RDD personalizzato in Java
- 6. Come duplicare RDD in più RDD?
- 7. Treat Spark RDD come plain Seq
- 8. Spark: Gruppo concat equivalente in scala RDD
- 9. Come condividere Spark RDD tra 2 contesti Spark?
- 10. Qual è la differenza tra Spark DataSet e RDD
- 11. Apache filtro Spark RDD in due RDDs
- 12. Come trasformare RDD [(Chiave, Valore)] in Mappa [Tasto, RDD [Valore]]
- 13. In che modo Spark decide come partizionare un RDD?
- 14. Spark JSON campo di testo per RDD
- 15. Come ottenere elemento per Indice in Spark RDD (Java)
- 16. Come convertire spark DataFrame in RDD mllib LabeledPoints?
- 17. Come elencare gli RDD definiti in Spark shell?
- 18. Come posso unire efficientemente un grande rdd ad una grande rdd in spark?
- 19. Mock a Spark RDD nei test dell'unità
- 20. Spark SQL: Convertire RDD [GenericData.Record] per dataframe
- 21. Come posso verificare se il mio RDD o dataframe è memorizzato nella cache o no?
- 22. Modalità di unione efficiente della memoria una sequenza di RDD dai file in Apache Spark
- 23. Spark - scala: shuffle RDD/split RDD in due parti casuali in modo casuale
- 24. numero di partizioni in RDD e prestazioni in Spark
- 25. Come aggiungere una nuova colonna a un RDD Spark?
- 26. Per impostazione predefinita, Tachyon è implementato dagli RDD in Apache Spark?
- 27. Come verificare se esiste un file mappato in memoria?
- 28. Esecuzione di ricerca/traduzione in una Spark RDD o dati telaio utilizzando un altro RDD/df
- 29. Scrivere RDD come file di testo utilizzando Apache Spark
- 30. Come verificare se null è in streaming?
Grazie Justin per sc. * funzioni! –