Conta più frequentemente 100 parole da frasi in Dataframe Panda

Question

Ho revisioni di testo in una colonna nel dataframe di Pandas e voglio contare le parole N-più frequenti con i loro conteggi di frequenza (in colonna intera - NON in singola cella). Un approccio è il conteggio delle parole utilizzando un contatore, eseguendo un iterazione attraverso ogni riga. C'è un'alternativa migliore?

Dati rappresentativi.

0 a heartening tale of small victories and endu 
1 no sophomore slump for director sam mendes w 
2 if you are an actor who can relate to the sea 
3 it's this memory-as-identity obviation that g 
4 boyd's screenplay (co-written with guardian 

Answer 1

Counter(" ".join(df["text"]).split()).most_common(100) 

im abbastanza sicuro che darebbe ciò che si vuole (si potrebbe essere necessario rimuovere alcuni non-parole del risultato del contatore prima di chiamare most_common)

Answer 2

Insieme con @ soluzione Joran si potrebbe anche utilizzare series.value_counts per grandi quantità di testo/righe

pd.Series(' '.join(df['text']).lower().split()).value_counts()[:100] 

Si potrebbe trovare dai parametri di riferimento series.value_counts sembra due volte (2X) più veloce diMetodo

Per set di dati Recensioni film di 3000 righe, per un totale di 400 K caratteri e 70 k parole.

In [448]: %timeit Counter(" ".join(df.text).lower().split()).most_common(100) 
10 loops, best of 3: 44.2 ms per loop 

In [449]: %timeit pd.Series(' '.join(df.text).lower().split()).value_counts()[:100] 
10 loops, best of 3: 27.1 ms per loop