Come utilizzare il valore costante in UDF di Spark SQL (DataFrame)

Question

Ho un dataframe che include timestamp. Per aggregare in base al tempo (minuto, ora o giorno), ho provato come:

val toSegment = udf((timestamp: String) => { 
    val asLong = timestamp.toLong 
    asLong - asLong % 3600000 // period = 1 hour 
}) 

val df: DataFrame // the dataframe 
df.groupBy(toSegment($"timestamp")).count() 

Questo funziona correttamente.

mia domanda è come generalizzare l'UDF toSegment come

val toSegmentGeneralized = udf((timestamp: String, period: Int) => { 
    val asLong = timestamp.toLong 
    asLong - asLong % period 
}) 

Ho provato quanto segue ma non funziona

df.groupBy(toSegment($"timestamp", $"3600000")).count() 

sembra di trovare la colonna denominata 3600000.

La soluzione possibile è per utilizzare la colonna costante ma non sono riuscita a trovarla.

Answer 1

È possibile utilizzare org.apache.spark.sql.functions.lit() per creare la colonna costante:

import org.apache.spark.sql.functions._ 

df.groupBy(toSegment($"timestamp", lit(3600000))).count()