funzioni GroupBy in pitone Pandas come SUM (col_1 * col_2), media ponderata ecc

Question

è possibile calcolare direttamente il prodotto (o per esempio somma) di due colonne senza utilizzare

grouped.apply(lambda x: (x.a*x.b).sum() 

È molto (meno della metà del tempo sulla mia macchina) più veloce da usare

df['helper'] = df.a*df.b 
grouped= df.groupby(something) 
grouped['helper'].sum() 
df.drop('helper', axis=1) 

Ma non mi piace dover fare questo. È utile ad esempio per calcolare la media ponderata per gruppo. Qui l'approccio lambda sarebbe

grouped.apply(lambda x: (x.a*x.b).sum()/(df.b).sum()) 

e di nuovo è molto più lento di dividere l'helper per b.sum().

Answer 1

Voglio infine costruire un analizzatore di espressioni incorporato array (Numexpr sugli steroidi) per fare cose come questa. In questo momento stiamo lavorando con le limitazioni di Python-- se è stato implementato un aggregatore di Cython fare (x * y).sum() allora potrebbe essere collegato con groupby, ma idealmente si potrebbe scrivere l'espressione Python in funzione:

def weight_sum(x, y): 
    return (x * y).sum() 

e che otterrebbe "JIT-compilato" e sarà veloce come groupby (...). sum(). Quello che sto descrivendo è un progetto piuttosto significativo (molti mesi). Se ci fosse un'implementazione APL compatibile con BSD, potrei essere in grado di fare qualcosa di simile a prima piuttosto un po 'prima (solo pensando ad alta voce).

Answer 2

ne dite direttamente gruppo il risultato di x.a * x.b, ad esempio:

from pandas import * 
from numpy.random import randn 
df = DataFrame({'A' : ['foo', 'bar', 'foo', 'bar', 
       'foo', 'bar', 'foo', 'foo'], 
     'B' : ['one', 'one', 'two', 'three', 
       'two', 'two', 'one', 'three'], 
     'C' : randn(8), 'D' : randn(8)}) 

print (df.C*df.D).groupby(df.A).sum() 

Answer 3

La risposta arrivò molti anni dopo via pydata blaze

from blaze import * 
data = Data(df) 
somethings = odo(
by(data.something, 
    wm = (data.a * data.weights).sum()/data.weights.sum()), 
pd.DataFrame)