Sommario array lungo (> 20 milioni di elementi) in python numpy

Question

Sono nuovo in Python e Numpy quindi scusami se questo problema è così rudimentale! Ho un array di valori negativi (è ordinato):

>>>neg 
[ -1.53507843e+02 -1.53200012e+02 -1.43161987e+02 ..., -6.37326136e-1 -3.97518490e-10 -3.73480691e-10] 
>>>neg.shape 
(12922508,) 

ho bisogno di aggiungere questo array alla sua duplice copia (ma con valori positivi) per trovare la deviazione standard della distribuzione in media a zero. Così faccio la seguente:

>>>pos=-1*neg 
>>>pos=pos[::-1] #Just to make it look symmetric for the display bellow! 
>>>total=np.hstack((neg,pos)) 
>>>total 
[-153.50784302 -153.20001221 -143.1619873 ..., 143.1619873 153.20001221 153.50784302] 
>>>total.shape 
(25845016,) 

Finora tutto è molto buona, ma la cosa strana è che la somma di questa nuova serie non è zero:

>>>numpy.sum(total) 
11610.6 

La deviazione standard non è anche al tutto vicino a quello che mi aspettavo, ma immagino che la radice di questo problema sia la stessa: perché la somma non è zero?

Quando si applica questo metodo a un piccolo array; ad esempio [-5, -3, -2] la somma diventa zero. Quindi immagino che il problema risieda nella lunghezza della matrice (oltre 20 milioni di elementi). C'è un modo per affrontare questo problema?

Se qualcuno mi può aiutare su questo sarei molto grato.

Answer 1

Come indicato nei commenti, si ottengono problemi di arrotondamento float dalla somma di molti milioni di numeri con segno uguale. Un modo possibile intorno a questa potrebbe essere quella di mescolare numeri positivi e negativi nella matrice combinato, in modo che eventuali risultati intermedi mentre sommando sempre rimanere o meno all'interno dello stesso ordine di grandezza:

neg = -100*numpy.random.rand(20e6) 
pos = -neg 
combined = numpy.zeros(len(neg)+len(pos)) 
combined[::2] = neg 
combined[1::2] = pos 

Ora combined.sum() dovrebbe essere abbastanza vicino al zero.

Forse questo approccio aiuterà anche a migliorare la precisione nel calcolo della deviazione standard.