13
Come di Spark 1.5.0 sembra possibile scrivere il proprio UDAF di per le aggregazioni personalizzate su DataFrames: Spark 1.5 DataFrame API Highlights: Date/Time/String Handling, Time Intervals, and UDAFsSpark SQL UDAF (funzione di aggregazione definita dall'utente) disponibile nell'API Python?
E 'comunque chiaro a me, se questa funzionalità è supportata nell'API Python?
No, non è supportato. Puoi chiamare Scala UDAF ma non è carino. Vedi [la mia risposta] (http://stackoverflow.com/a/33257733/1560062) a [Spark: come mappare Python con le funzioni definite dall'utente di Scala o Java?] (Http://stackoverflow.com/q/33233737/ 1560062) per un esempio completo. – zero323
@ zero323 quindi è ora disponibile in 1.6 scintilla o 1.61? – stackit
@stackit Né 1.6.x né 2.0. – zero323