Spark SQL campi multipli

Question

Qual è la sintassi corretta per il filtro su più colonne nell'API Scala? Se voglio fare qualcosa di simile:

dataFrame.filter($"col01" === "something" && $"col02" === "something else") 

o

dataFrame.filter($"col01" === "something" || $"col02" === "something else") 

EDIT:

Questo è ciò che il mio codice originale assomiglia. Tutto arriva come una stringa.

df.select($"userID" as "user", $"itemID" as "item", $"quantity" cast("int"), $"price" cast("float"), $"discount" cast ("float"), sqlf.substring($"datetime", 0, 10) as "date", $"group") 
    .filter($"item" !== "" && $"group" !== "-1") 

Answer 1

Penso di vedere qual è il problema. Per qualche motivo, la scintilla non consente due! = 'S nello stesso filtro . È necessario esaminare il modo in cui il filtro è definito nel codice sorgente Spark.

Ora, per il codice per lavorare, è possibile utilizzare questo per fare il filtro

df.filter(col("item").notEqual("") && col("group").notEqual("-1")) 

o utilizzare due filtri in stessa istruzione

df.filter($"item" !== "").filter($"group" !== "-1").select(....) 

Questo collegamento here può aiutare con diversi metodi di scintilla.