addio veloce numnido

Question

Vorrei aggiungere migliaia di elementi di array 4D saggi e contabilità per nans. Un semplice esempio usando gli array 1D sarebbe:

X = array([4,7,89,nan,89,65, nan]) 
Y = array([0,5,4, 9, 8, 100,nan]) 
z = X+Y 
print z = array([4,12,93,9,97,165,nan]) 

Ho scritto un semplice ciclo for intorno a questo, ma ci vuole sempre - non è una soluzione intelligente. Un'altra soluzione potrebbe essere la creazione di un array più grande e l'utilizzo del nasello del collo di bottiglia, ma ciò richiederebbe troppa memoria per il mio laptop. Ho bisogno di una somma corrente su oltre 11000 casi.

Qualcuno ha un modo intelligente e veloce per fare questo?

Answer 1

Ecco una possibilità:

>>> x = np.array([1, 2, np.nan, 3, np.nan, 4]) 
... y = np.array([1, np.nan, 2, 5, np.nan, 8]) 
>>> x = np.ma.masked_array(np.nan_to_num(x), mask=np.isnan(x) & np.isnan(y)) 
>>> y = np.ma.masked_array(np.nan_to_num(y), mask=x.mask) 
>>> (x+y).filled(np.nan) 
array([ 2., 2., 2., 8., nan, 12.]) 

La vera difficoltà è che ti sembra di voler nan debba essere interpretato nel zero a meno che tutti i valori in una particolare posizione sono nan. Ciò significa che devi guardare sia x che y per determinare quali nans sostituire. Se stai bene con la sostituzione di tutti i valori di nan, allora puoi semplicemente fare np.nan_to_num(x) + np.nan_to_num(y).

Answer 2

Non so come questo si comporta, ma vale la pena un colpo :)

def nan_to_zero(array): 
    new_arr = array.copy() 
    new_arr[np.isnan(array)] = 0. 
    return new_arr 

sum(nan_to_zero(arr) for arr in array_generator) 

questo non si traduca in un NaN all'ultimo posto della matrice però. Essa si traduce in un 0 ...

Answer 3

Si potrebbe fare qualcosa di simile:

arr1 = np.array([1.0, 1.0, np.nan, 1.0, 1.0, np.nan]) 
arr2 = np.array([1.0, 1.0, 1.0, 1.0, 1.0, np.nan]) 
flags = np.isnan(arr1) & np.isnan(arr2) 
copy1 = arr1.copy() 
copy2 = arr2.copy() 
copy1[np.isnan(copy1)] = 0.0 
copy2[np.isnan(copy2)] = 0.0 
out = copy1 + copy2 
out[flags] = np.NaN 
print out 
array([ 2., 2., 1., 2., 2., NaN]) 

per trovare le posizioni nelle matrici in cui entrambi hanno un NaN in tale indice. Quindi, fare essenzialmente ciò che @mgilson ha suggerito, come nel fare copie e sostituire lo NaN s con 0.0, aggiungere i due array insieme e quindi sostituire gli indici contrassegnati sopra con np.NaN.

Answer 4

vedo diverse soluzioni più semplici:

• (a cura) Utilizzo np.ma

  mX = np.ma.masked_array(X, mask=np.isnan(X)) 
  mY = np.ma.masked_array(Y, mask=np.isnan(Y)) 
  mZ = np.ma.masked_array(mX.filled(0) + mY.filled(0), 
           mask=mX.mask * mY.mask) 
  Z = mZ.filled(np.nan) 
  

• (a cura) Non utilizzando np.ma

  mx = np.isnan(x) 
  my = np.isnan(y) 
  z = np.where(mx,0,x) + np.where(my,0,y) 
  z[mx&my] = np.nan 
  

Answer 5

import numpy as np 
z=np.nansum([X,Y],axis=0)