Funzioni dai pacchetti Python per udf() di Spark dataframe

Question

Per dataframe Spark tramite pyspark, è possibile utilizzare pyspark.sql.functions.udf per creare un user defined function (UDF).

Mi chiedo se posso utilizzare qualsiasi funzione dai pacchetti Python in udf(), ad esempio np.random.normal da numpy?

Answer 1

Supponendo che si desidera aggiungere una colonna denominata new al dataframe df ottenuto invocando numpy.random.normal più volte, si potrebbe fare:

import numpy 
from pyspark.sql.functions import UserDefinedFunction 
from pyspark.sql.types import DoubleType 

udf = UserDefinedFunction(numpy.random.normal, DoubleType()) 

df_with_new_column = df.withColumn('new', udf())