Creazione di un array mascherato in Python con più valori dati

Question

Sto graficando diverse colonne di una grande matrice di dati (tramite numpy.genfromtxt) su una colonna temporale ugualmente dimensionata. I dati mancanti vengono spesso indicati come nan, -999, -9999, ecc. Tuttavia non riesco a capire come rimuovere più valori dall'array. Questo è quello che attualmente ho:

for cur_col in range(start_col, total_col): 
    # Generate what is to be graphed by removing nan values 
    data_mask = (file_data[:, cur_col] != nan_values) 
    y_data = file_data[:, cur_col][data_mask] 
    x_data = file_data[:, time_col][data_mask] 

Dopo di che punto uso matplotlib per creare le figure appropriate per ogni colonna. Funziona bene se nan_values ​​è un singolo intero, ma sto cercando di usare un elenco.

MODIFICA: ecco un esempio funzionante.

import numpy as np 

file_data = np.arange(12.0).reshape((4,3)) 
file_data[1,1] = np.nan 
file_data[2,2] = -999 
nan_values = -999 

for cur_col in range(1,3): 
    # Generate what is to be graphed by removing nan values 
    data_mask = (file_data[:, cur_col] != nan_values) 
    y_data = file_data[:, cur_col][data_mask] 
    x_data = file_data[:, 0][data_mask] 
    print 'y: ' + str(y_data) 
    print 'x: ' + str(x_data) 
print file_data 

>>> y: [ 1. nan 7. 10.] 
    x: [ 0. 3. 6. 9.] 
    y: [ 2. 5. 11.] 
    x: [ 0. 3. 9.] 
    [[ 0. 1. 2.] 
    [ 3. nan 5.] 
    [ 6. 7. -999.] 
    [ 9. 10. 11.]] 

questo non funzionerà se nan_values ​​= [ 'nan', -999], che è quello che sto cercando di realizzare.

Answer 1

Io suggerirei di usare masked arrays in questo modo:

>>> a = np.arange(12.0).reshape((4,3)) 
>>> a[1,1] = np.nan 
>>> a[2,2] = -999 
>>> a 
array([[ 0., 1., 2.], 
     [ 3., nan, 5.], 
     [ 6., 7., -999.], 
     [ 9., 10., 11.]]) 
>>> m = np.ma.array(a,mask=(~np.isfinite(a) | (a == -999))) 
>>> m 
masked_array(data = 
[[0.0 1.0 2.0] 
[3.0 -- 5.0] 
[6.0 7.0 --] 
[9.0 10.0 11.0]], 
      mask = 
[[False False False] 
[False True False] 
[False False True] 
[False False False]], 
     fill_value = 1e+20) 

Answer 2

Vorrei provare qualcosa di simile (pseudo-codice):

nan_values = [...] 

for cur_col in range(start_col, total_col): 
    # Generate what is to be graphed by removing nan values 
    y_data = [file_data[i,cur_col] for i in range(len(file_data)) if not(file_data[i,cur_col] in nan_values)] 
    x_data = [file_data[i,time_col] for i in range(len(file_data)) if not(file_data[i,cur_col] in nan_values)]