Alias ​​di colonne dopo il groupby in pyspark

Question

Ho bisogno del frame di dati risultante nella riga sottostante, per avere un nome alias "maxDiff" per la colonna massima ('diff') dopo groupBy. Tuttavia, la riga sottostante non cambia ma non genera errori.

grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff") 

Answer 1

Questo perché si sta aliasing tutta DataFrame oggetto, non Column. Ecco un esempio di come alias il Column unica:

import pyspark.sql.functions as func 

grpdf = joined_df \ 
    .groupBy(temp1.datestamp) \ 
    .max('diff') \ 
    .select(func.col("max(diff)").alias("maxDiff")) 

Answer 2

È possibile utilizzare agg invece di chiamare max metodo:

from pyspark.sql.functions import max 

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff")) 

Answer 3

Oltre alle risposte già qui, i seguenti sono anche modi convenienti se si conoscere il nome della colonna aggregata, dove non c'è bisogno di importare da pyspark.sql.functions:

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .selectExpr('max(diff) AS maxDiff') 

Vedi docs per informazioni su .selectExpr()

grouped_df = joined_df.groupBy(temp1.datestamp) \ 
         .max('diff') \ 
         .withColumnRenamed('max(diff)', 'maxDiff') 

Vedere docs per informazioni su .withColumnRenamed()

Questa risposta qui va più nel dettaglio: https://stackoverflow.com/a/34077809