Apache Spark: Come posso convertire uno Spark DataFrame in un RDD con tipo RDD [(Tipo1, Tipo2, ...)]?

Question

Per esempio, supponiamo di avere il dataframe:

var myDF = sc.parallelize(Seq(("one",1),("two",2),("three",3))).toDF("a", "b") 

posso convertirlo in un RDD[(String, Int)] con una mappa:

var myRDD = myDF.map(r => (r(0).asInstanceOf[String], r(1).asInstanceOf[Int])) 

Esiste un modo migliore per fare questo, forse utilizzando lo schema DF ?

Answer 1

Utilizzando pattern matching su :

import org.apache.spark.sql.Row 

myDF.map{case Row(a: String, b: Int) => (a, b)} 

In Spark 1.6 + è possibile utilizzare Dataset come segue:

myDF.as[(String, Int)].rdd