panda concat array su groupby

Question

ho un dataframe che è stato creato dal gruppo vicino con:

agg_df = df.groupby(['X', 'Y', 'Z']).agg({ 
    'amount':np.sum, 
    'ID': pd.Series.unique, 
}) 

Dopo ho applicato qualche filtro su agg_df voglio concat gli ID

agg_df = agg_df.groupby(['X', 'Y']).agg({ # Z is not in in groupby now 
    'amount':np.sum, 
    'ID': pd.Series.unique, 
}) 

ma ottengo un errore alla seconda 'ID': pd.Series.unique:

ValueError: Function does not reduce 

Come esempio della prima dataframe th e secondo groupby è:

   |amount| ID | 
-----+----+----+------+-------+ 
    X | Y | Z |  |  | 
-----+----+----+------+-------+ 
    a1 | b1 | c1 | 10 | 2  | 
    | | c2 | 11 | 1  | 
    a3 | b2 | c3 | 2 | [5,7] | 
    | | c4 | 7 | 3  | 
    a5 | b3 | c3 | 12 | [6,3] | 
    | | c5 | 17 | [3,4] | 
    a7 | b4 | c6 | 2 | [8,9] | 

E il risultato atteso dovrebbe essere

  |amount| ID  | 
-----+----+------+-----------+ 
    X | Y |  |   | 
-----+----+------+-----------+ 
    a1 | b1 | 21 | [2,1]  | 
    a3 | b2 | 9 | [5,7,3] | 
    a5 | b3 | 29 | [6,3,4] | 
    a7 | b4 | 2 | [8,9]  | 

L'ordine degli ID finali non è importante.

Modifica: Ho trovato una soluzione. Ma la sua non proprio elegante:

def combine_ids(x): 
    def asarray(elem): 
     if isinstance(elem, collections.Iterable): 
     return np.asarray(list(elem)) 
     return elem 

    res = np.array([asarray(elem) for elem in x.values]) 
    res = np.unique(np.hstack(res)) 
    return set(res) 

agg_df = agg_df.groupby(['X', 'Y']).agg({ # Z is not in in groupby now 
    'amount':np.sum, 
    'ID': combine_ids, 
}) 

Edit2: Un'altra soluzione che funziona nel mio caso è:

combine_ids = lambda x: set(np.hstack(x.values)) 

Edit3: Sembra che non sia possibile evitare set() come valore risultante, a causa dell'implementazione dell'implementazione della funzione di aggregazione di Pandas. Dettagli in https://stackoverflow.com/a/16975602/3142459

Answer 1

Se stai bene utilizzando set come tipo (che probabilmente lo farei), quindi vorrei andare con:

agg_df = df.groupby(['x','y','z']).agg({ 
    'amount': np.sum, 'id': lambda s: set(s)}) 
agg_df.reset_index().groupby(['x','y']).agg({ 
    'amount': np.sum, 'id': lambda s: set.union(*s)}) 

... che lavora per me. Per qualche ragione, lo lambda s: set(s) funziona, ma non impostato (credo che qualche parte dei panda non stia digitando correttamente la digitazione).

Se i dati sono di grandi dimensioni, probabilmente si vorrà la seguente invece di lambda s: set.union(*s):

from functools import reduce 
# can't partial b/c args are positional-only 
def cheaper_set_union(s): 
    return reduce(set.union, s, set()) 

Answer 2

Quando la funzione di aggregazione restituisce una serie, i panda sarà non necessariamente sapere che si desidera che confezionato in una singola cella . Come soluzione più generale, costruisci esplicitamente il risultato in una lista.

agg_df = df.groupby(['X', 'Y', 'Z']).agg({ 
    'amount':np.sum, 
    'ID': lambda x: list(x.unique()), 
})