Sostituisci stringhe vuote con valori None/null in DataFrame

Question

Ho un Spark 1.5.0 DataFrame con un mix di null e stringhe vuote nella stessa colonna. Voglio convertire tutte le stringhe vuote in tutte le colonne a null (None, in Python). DataFrame può avere centinaia di colonne, quindi sto cercando di evitare le manipolazioni hard-coded di ogni colonna.

Vedere il mio tentativo qui sotto, che si traduce in un errore.

from pyspark.sql import SQLContext 
sqlContext = SQLContext(sc) 

## Create a test DataFrame 
testDF = sqlContext.createDataFrame([Row(col1='foo', col2=1), Row(col1='', col2=2), Row(col1=None, col2='')]) 
testDF.show() 
## +----+----+ 
## |col1|col2| 
## +----+----+ 
## | foo| 1| 
## | | 2| 
## |null|null| 
## +----+----+ 

## Try to replace an empty string with None/null 
testDF.replace('', None).show() 
## ValueError: value should be a float, int, long, string, list, or tuple 

## A string value of null (obviously) doesn't work... 
testDF.replace('', 'null').na.drop(subset='col1').show() 
## +----+----+ 
## |col1|col2| 
## +----+----+ 
## | foo| 1| 
## |null| 2| 
## +----+----+ 

Answer 1

E 'semplice come questo:

from pyspark.sql.functions import col, when 

def blank_as_null(x): 
    return when(col(x) != "", col(x)).otherwise(None) 

dfWithEmptyReplaced = testDF.withColumn("col1", blank_as_null("col1")) 

dfWithEmptyReplaced.show() 
## +----+----+ 
## |col1|col2| 
## +----+----+ 
## | foo| 1| 
## |null| 2| 
## |null|null| 
## +----+----+ 

dfWithEmptyReplaced.na.drop().show() 
## +----+----+ 
## |col1|col2| 
## +----+----+ 
## | foo| 1| 
## +----+----+ 

Se si vuole riempire più colonne è possibile ad esempio ridurre:

to_convert = set([...]) # Some set of columns 

reduce(lambda df, x: df.withColumn(x, blank_as_null(x)), to_convert, testDF) 

o utilizzare la comprensione:

exprs = [ 
    blank_as_null(x).alias(x) if x in to_convert else x for x in testDF.columns] 

testDF.select(*exprs) 

Se si vuole specificamente ope tasso sui campi stringa si prega di controllare the answer per robin-loxley.

Answer 2

La mia soluzione è molto meglio di tutte le soluzioni I'v visto finora, che può trattare con il maggior numero di campi come si desidera, vedere la piccola funzione di come il seguente:

// Replace empty Strings with null values 
    private def setEmptyToNull(df: DataFrame): DataFrame = { 
    val exprs = df.schema.map { f => 
     f.dataType match { 
     case StringType => when(length(col(f.name)) === 0, lit(null: String).cast(StringType)).otherwise(col(f.name)).as(f.name) 
     case _ => col(f.name) 
     } 
    } 

    df.select(exprs: _*) 
    } 

Si può facilmente riscrivere la funzione sopra in Python.

ho imparato questo trucco da @liancheng

Answer 3

Basta aggiungere in cima zero323 di e risposte di soulmachine. Per convertire per tutti i campi StringType.

from pyspark.sql.types import StringType 
string_fields = [] 
for i, f in enumerate(test_df.schema.fields): 
    if isinstance(f.dataType, StringType): 
     string_fields.append(f.name)