NumPy cumSum considerando NaNs

Question

Sto cercando un modo succinto per andare da:

a = numpy.array([1,4,1,numpy.nan,2,numpy.nan]) 

a:

b = numpy.array([1,5,6,numpy.nan,8,numpy.nan]) 

Il meglio che posso fare al momento è:

b = numpy.insert(numpy.cumsum(a[numpy.isfinite(a)]), (numpy.argwhere(numpy.isnan(a)) - numpy.arange(len(numpy.argwhere(numpy.isnan(a))))), numpy.nan) 

Is c'è un modo più breve per realizzare lo stesso? Che dire di fare un cums lungo un asse di un array 2D?

Answer 1

ne dite (per non troppo grandi array):

In [34]: import numpy as np 

In [35]: a = np.array([1,4,1,np.nan,2,np.nan]) 

In [36]: a*0 + np.nan_to_num(a).cumsum() 
Out[36]: array([ 1., 5., 6., nan, 8., nan]) 

Answer 2

Masked arrays sono proprio per questo tipo di situazione.

>>> import numpy as np 
>>> from numpy import ma 
>>> a = np.array([1,4,1,np.nan,2,np.nan]) 
>>> b = ma.masked_array(a,mask = (np.isnan(a) | np.isinf(a))) 
>>> b 
masked_array(data = [1.0 4.0 1.0 -- 2.0 --], 
     mask = [False False False True False True], 
    fill_value = 1e+20) 
>>> c = b.cumsum() 
>>> c 
masked_array(data = [1.0 5.0 6.0 -- 8.0 --], 
     mask = [False False False True False True], 
    fill_value = 1e+20) 
>>> c.filled(np.nan) 
array([ 1., 5., 6., nan, 8., nan]) 

Answer 3

Pandas è una build di libreria in cima numpy. E ' Series classe ha un metodo cumsum, che conserva i nan 's ed è notevolmente più veloce rispetto alla soluzione proposta da DSM:

In [15]: a = arange(10000.0) 

In [16]: a[1] = np.nan 

In [17]: %timeit a*0 + np.nan_to_num(a).cumsum() 
1000 loops, best of 3: 465 us per loop 

In [18] s = pd.Series(a) 

In [19]: s.cumsum() 
Out[19]: 
0  0 
1  NaN 
2  2 
3  5 
... 
9996 49965005 
9997 49975002 
9998 49985000 
9999 49994999 
Length: 10000 

In [20]: %timeit s.cumsum() 
10000 loops, best of 3: 175 us per loop