Come mappare un Dataframe nidificato in Spark

Question

Ho una stringa annidata come mostrato di seguito. Voglio piatta mappare loro di produrre righe uniche in Spark

mio dataframe ha

A,B,"x,y,z",D 

voglio convertire di produrre output come

A,B,x,D 
A,B,y,D 
A,B,z,D 

Come posso farlo.

Fondamentalmente come posso fare piatto mappa e applicare qualsiasi funzione all'interno della dataframe

Grazie

Answer 1

Spark 2.0+

Dataset.flatMap:

val ds = df.as[(String, String, String, String)] 
ds.flatMap { 
    case (x1, x2, x3, x4) => x3.split(",").map((x1, x2, _, x4)) 
}.toDF 

Spark 1.3+ .

Usa split e explodefunctions:

val df = Seq(("A", "B", "x,y,z", "D")).toDF("x1", "x2", "x3", "x4") 
df.withColumn("x3", explode(split($"x3", ","))) 

Spark 1.x

DataFrame.explode (deprecato in Spark 2.x)

df.explode($"x3")(_.getAs[String](0).split(",").map(Tuple1(_)))