Python Spark Dataframes: modo migliore per esportare i gruppi in un file di testo

Question

Desidero esportare i dati in file di testo separati; Posso farlo con questo hack:

for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect(): 
    sqlContext.sql("SELECT * FROM MY_DF WHERE FIPS = '%s'" % r).rdd.saveAsTextFile('county_{}'.format(r)) 

Qual è il modo giusto per farlo con Spark 1.3.1/Python dataframes? Voglio farlo in un singolo lavoro rispetto ai lavori N (o N + 1).

Può essere:

saveAsTextFileByKey()

Answer 1

Spark in generale non ha operazioni RDD con più uscite. Ma per scrivere i file c'è un bel trucco: Write to multiple outputs by key Spark - one Spark job