Posso usare withcolumn per aggiungere nuove colonne a un Dataframe. Ma in scala come posso aggiungere nuove righe a un DataFrame?Come aggiungere un Dataframe Spark alla fine di un altro dataframe?
Sto provando ad aggiungere un dataframe al fondo di un altro. Quindi, come aggiungere righe in scala o come aggiungere un DataFrame alla base di un altro aiuterà. Grazie
Se hanno lo stesso schema, è sufficiente utilizzare union scintilla 2+:
val dfUnion = df1.union(df2)
O unionAll scintilla 1+:
val dfUnion = df1.unionAll(df2)
Grazie per il tuo aiuto! Quello è ciò di cui ho bisogno! –
Dato che Spark 2.0 'unionAll()' è contrassegnato come 'deprecato' (@deprecated (" use union() "," 2.0.0 ")) - Ho modificato la tua risposta di conseguenza. – Boern
La domanda sembra parlare di concatenazione ("aggiungi un fondo a un altro"), e solo per i futuri utenti: "unione" non è la stessa cosa della concatenazione. Non garantisce l'ordine sui dati combinati. – jwd
Avete verificato il 'unionAll()' funzione? –
Grazie! unionAll funziona! –