2012-12-24 23 views
53

Ho un dataframe panda come questo:Python - trova indice intero di righe con NaN in panda

    a   b 
2011-01-01 00:00:00 1.883381 -0.416629 
2011-01-01 01:00:00 0.149948 -1.782170 
2011-01-01 02:00:00 -0.407604 0.314168 
2011-01-01 03:00:00 1.452354 NaN 
2011-01-01 04:00:00 -1.224869 -0.947457 
2011-01-01 05:00:00 0.498326 0.070416 
2011-01-01 06:00:00 0.401665 NaN 
2011-01-01 07:00:00 -0.019766 0.533641 
2011-01-01 08:00:00 -1.101303 -1.408561 
2011-01-01 09:00:00 1.671795 -0.764629 

C'è un modo efficace per trovare l'indice "integer" di righe con NaN? In questo caso l'output desiderato dovrebbe essere [3, 6].

+9

Se vuoi semplicemente selezionare le righe con nan, puoi fare 'df [np.isnan (df ['b'])]' – lazy1

+4

Seguito da @ lazy1 - invece di usare 'numpy''s' isnan' tu posso anche usare 'df ['b']. isnull()' – jmetz

risposta

25

Per dataframe df:

import numpy as np 
index = df['b'].index[df['b'].apply(np.isnan)] 

vi darà indietro il MultiIndex che è possibile utilizzare per indicizzare nuovamente dentro df, ad esempio:

df['a'].ix[index[0]] 
>>> 1.452354 

Per l'indice intero:

df_index = df.index.values.tolist() 
[df_index.index(i) for i in index] 
>>> [3, 6] 
102

Ecco una soluzione più semplice:

inds = pd.isnull(df).any(1).nonzero()[0]

In [9]: df 
Out[9]: 
      0   1 
0 0.450319 0.062595 
1 -0.673058 0.156073 
2 -0.871179 -0.118575 
3 0.594188  NaN 
4 -1.017903 -0.484744 
5 0.860375 0.239265 
6 -0.640070  NaN 
7 -0.535802 1.632932 
8 0.876523 -0.153634 
9 -0.686914 0.131185 

In [10]: pd.isnull(df).any(1).nonzero()[0] 
Out[10]: array([3, 6]) 
+19

Ho finito per usare questo: 'np.where (df ['b']. notnull()) [0]' – ezbentley

+0

grazie, '.no nzero() [0] 'è migliore di' [i for i, k in enumerate (mask) if k] '.) – Winand

1

E nel caso, se si desidera trovare le coordinate di 'nan' per tutte le colonne invece (supponendo che siano tutti Numericals), qui si va:

df = pd.DataFrame([[0,1,3,4,np.nan,2],[3,5,6,np.nan,3,3]]) 

df 
    0 1 2 3 4 5 
0 0 1 3 4.0 NaN 2 
1 3 5 6 NaN 3.0 3 

np.where(np.asanyarray(np.isnan(df))) 
(array([0, 1]), array([4, 3])) 
Problemi correlati