Qual è il modo più semplice per ottenere tfidf con dataframe panda?

Question

Voglio calcolare tf-idf dai documenti sottostanti. Sto usando Python e Panda.

import pandas as pd 
df = pd.DataFrame({'docId': [1,2,3], 
       'sent': ['This is the first sentence','This is the second sentence', 'This is the third sentence']}) 

In primo luogo, ho pensato che avrei bisogno di ottenere word_count per ogni riga. Così ho scritto una semplice funzione:

def word_count(sent): 
    word2cnt = dict() 
    for word in sent.split(): 
     if word in word2cnt: word2cnt[word] += 1 
     else: word2cnt[word] = 1 
return word2cnt 

E poi l'ho applicato a ogni riga.

df['word_count'] = df['sent'].apply(word_count) 

Ma ora mi sono perso. So che c'è un metodo semplice per calcolare tf-idf se uso Graphlab, ma voglio rimanere con un'opzione open source. Sia Sklearn che Gensim sembrano travolgenti. Qual è la soluzione più semplice per ottenere tf-idf?

Answer 1

scikit-learn implementazione è molto semplice:

from sklearn.feature_extraction.text import TfidfVectorizer 
v = TfidfVectorizer() 
x = v.fit_transform(df['sent']) 

Ci sono un sacco di parametri che è possibile specificare. Vedere la documentazione here

L'uscita del fit_transform sarà una matrice sparsa, se si vuole visualizzarlo si può fare x.toarray()

In [44]: x.toarray() 
Out[44]: 
array([[ 0.64612892, 0.38161415, 0.  , 0.38161415, 0.38161415, 
     0.  , 0.38161415], 
     [ 0.  , 0.38161415, 0.64612892, 0.38161415, 0.38161415, 
     0.  , 0.38161415], 
     [ 0.  , 0.38161415, 0.  , 0.38161415, 0.38161415, 
     0.64612892, 0.38161415]])