risparmiare una grande Spark dataframe come un singolo file JSON in S3

Question

Nel tentativo di salvare un dataframe Spark (di oltre 20G) in un unico file JSON in Amazon S3, il mio codice per salvare il dataframe è come questo:

dataframe.repartition(1).save("s3n://mybucket/testfile","json") 

Ma sto ricevendo un errore da S3 "Il tuo caricamento proposto supera la dimensione massima consentita", so che la dimensione massima consentita da Amazon è 5 GB.

È possibile utilizzare il caricamento multipart S3 con Spark? o c'è un altro modo per risolvere questo?

Btw ho bisogno dei dati in un unico file perché un altro utente sta per scaricarlo dopo.

* Im utilizzando apache spark 1.3.1 in un cluster a 3 nodi creato con lo script spark-ec2.

Grazie mille

JG

Answer 1

Proverei a separare il grande dataframe in una serie di dataframer più piccoli che si aggiungeranno nello stesso file nella destinazione.

df.write.mode('append').json(yourtargetpath) 

Answer 2

s3a non è versione di produzione in Spark credo. Direi che il design non è corretto. la ripartizione (1) sarà terribile (quello che stai dicendo è di fondere tutte le partizioni in una sola). Suggerirei di scaricare il contenuto da una cartella piuttosto che un singolo file

Answer 3

Prova questa

dataframe.write.format("org.apache.spark.sql.json").mode(SaveMode.Append).save("hdfs://localhost:9000/sampletext.txt");