Come accedere agli oggetti JSON incorporati in un DataFrame di Pandas?

Question

TL; DR Se i campi caricati in un DataFrame di Pandas contengono documenti JSON, come possono essere utilizzati in un modo simile a Pandas?

Attualmente sto direttamente di dumping JSON/risultati del dizionario da una libreria Twitter (twython) in una collezione Mongo (chiamati utenti qui).

from twython import Twython 
from pymongo import MongoClient 

tw = Twython(...<auth>...) 

# Using mongo as object storage 
client = MongoClient() 
db = client.twitter 
user_coll = db.users 

user_batch = ... # collection of user ids 
user_dict_batch = tw.lookup_user(user_id=user_batch) 

for user_dict in user_dict_batch: 
    if(user_coll.find_one({"id":user_dict['id']}) == None): 
     user_coll.insert(user_dict) 

Dopo aver popolato questo database ho letto i documenti in Panda:

# Pull straight from mongo to pandas 
cursor = user_coll.find() 
df = pandas.DataFrame(list(cursor)) 

che funziona come magia:

mi piacerebbe essere in grado di manipolare il ' stato 'campo Stile panda (accesso diretto agli attributi). C'è un modo?

EDIT: Qualcosa di simile a df [ 'stato: testo']. Lo stato ha campi come "testo", "creato_at". Un'opzione potrebbe essere appiattire/normalizzare questo campo json come this pull request a cui Wes McKinney stava lavorando.

Answer 1

Una soluzione è solo quello di rompere con il costruttore della serie:

In [1]: df = pd.DataFrame([[1, {'a': 2}], [2, {'a': 1, 'b': 3}]]) 

In [2]: df 
Out[2]: 
    0     1 
0 1   {u'a': 2} 
1 2 {u'a': 1, u'b': 3} 

In [3]: df[1].apply(pd.Series) 
Out[3]: 
    a b 
0 2 NaN 
1 1 3 

In alcuni casi si vorrà concat questo al dataframe al posto della fila dict:

In [4]: dict_col = df.pop(1) # here 1 is the column name 

In [5]: pd.concat([df, dict_col.apply(pd.Series)], axis=1) 
Out[5]: 
    0 a b 
0 1 2 NaN 
1 2 1 3 

Se si approfondisce, è possibile farlo alcune volte ...