Come contare le occorrenze di ciascun valore distinto in una colonna?

Question

edf.select("x").distinct.show() mostra i valori distinti che sono presenti nella colonna x di edf DataFrame.

Esiste un metodo efficace per mostrare anche il numero di volte in cui questi valori distinti si verificano nel frame di dati? (Conteggio per ogni valore distinto)

Answer 1

countDistinct è probabilmente la prima scelta:

import org.apache.spark.sql.functions.countDistinct 

df.agg(countDistinct("some_column")) 

Se la velocità è più importante della precisione si può considerare approxCountDistinct:

import org.apache.spark.sql.functions.approx_count_distinct 

df.agg(approxCountDistinct("some_column")) 

Per ottenere i valori e conteggi :

df.groupBy("some_column").count() 

In SQL (spark-sql):

SELECT COUNT(DISTINCT some_column) FROM df 

e

SELECT approx_count_distinct(some_column) FROM df 

Answer 2

df.select("some_column").distinct.count