Ottenere specifico campo da Riga scelto Pyspark dataframe

Question

Ho un dataframe Spark costruisce attraverso pyspark da un file JSON come

sc = SparkContext() 
sqlc = SQLContext(sc) 

users_df = sqlc.read.json('users.json') 

Ora, voglio accedere ad una chosen_user dati, dove questo è il suo _id campo. Posso fare

print users_df[users_df._id == chosen_user].show() 

e questo mi dà l'intera Riga dell'utente. Ma supponiamo che voglio solo un campo specifico nella riga, ad esempio il genere dell'utente, come potrei ottenerlo?

Answer 1

Basta filtrare e selezionare:

result = users_df.where(users_df._id == chosen_user).select("gender") 

o con col

from pyspark.sql.functions import col 

result = users_df.where(col("_id") == chosen_user).select(col("gender")) 

Infine PySpark è solo un tuple con alcune estensioni in modo da poter, ad esempio flatMap:

result.rdd.flatMap(list).first() 

oppure map con qualcosa del genere:

result.rdd.map(lambda x: x.gender).first()