Spark: come salvare un dataframe con le intestazioni?

Question

dataframe.saveasTextFile, salva solo i dati in un formato delimitato. Come faccio a salvare il dataframe con le intestazioni in JAVA.

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath); 

Answer 1

Se si desidera salvare come file CSV, vi suggerirei di usare spark-csv pacchetto. Puoi salvare il tuo dataframe semplicemente con spark-csv come di seguito con l'intestazione.

dataFrame.write 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("delimiter",<your delimiter>) 
    .save(output) 

È possibile fare riferimento al di sotto di collegamento, per ulteriori informazioni: https://github.com/databricks/spark-csv

Spark-csv ha la dipendenza Maven.

Answer 2

Con Spark 2.x,

df.write.option("header", "true").csv("path") 

Acclamazioni