Spark SQL: Convertire RDD [GenericData.Record] per dataframe

Question

Forse questa domanda può sembrare un po 'astratto, qui è:

val originalAvroSchema : Schema = // read from a file 
val rdd : RDD[GenericData.Record] = // From some streaming source 

// Looking for a handy: 
val df: DataFrame = rdd.toDF(schema) 

esploro spark-avro ma ha il supporto solo per leggere da un file, non da esistente RDD.

Answer 1

import com.databricks.spark.avro._ 

val sqlContext = new SQLContext(sc) 
val rdd : RDD[MyAvroRecord] = ... 
val df = rdd.toAvroDF(sqlContext)