8
Sto usando Spark SQL
per leggere il parquet e scrivere file di parquet.Spark SQL - Come scrivere DataFrame in un file di testo?
Ma alcuni casi, ho bisogno di scrivere il DataFrame
come file di testo invece di Json o Parquet.
Esistono metodi predefiniti supportati o devo convertire tale DataFrame in RDD
quindi utilizzare il metodo saveAsTextFile()
?
dovrebbe essere 'df.select ("anno", "modello"). Write.format' invece di 'df.select (" year "," model "). write(). format'? Altrimenti si ottiene un errore TypeError: 'DataFrameWriter' non è callable ' – ajkl
Questo è l'esempio ufficiale fornito per Spark 1.3. Se usi Spark 1.4+ dovresti usare 'df.select (" year "," model "). Write.format' come hai suggerito. –