Qual è l'impatto sulle prestazioni degli indici non univoci nei panda?

Question

Dalla documentazione di panda, ho rilevato che gli indici a valore unico rendono certe operazioni efficienti e che gli indici non univoci sono talvolta tollerati.

Dall'esterno, non sembra che gli indici non univoci siano sfruttati in alcun modo. Ad esempio, la seguente ix query è abbastanza lento che sembra essere la scansione dell'intera dataframe

In [23]: import numpy as np 
In [24]: import pandas as pd 
In [25]: x = np.random.randint(0, 10**7, 10**7) 
In [26]: df1 = pd.DataFrame({'x':x}) 
In [27]: df2 = df1.set_index('x', drop=False) 
In [28]: %timeit df2.ix[0] 
1 loops, best of 3: 402 ms per loop 
In [29]: %timeit df1.ix[0] 
10000 loops, best of 3: 123 us per loop 

(mi rendo conto che le due ix query non restituiscono la stessa cosa - è solo un esempio che chiama a ix su un indice non univoco appaiono molto più lenti)

Esiste un modo per convincere i panda a utilizzare metodi di ricerca più veloci come la ricerca binaria su indici non univoci e/o ordinati?

Answer 1

Quando l'indice è univoco, i panda utilizzano una tabella hash per mappare la chiave al valore O (1). Quando l'indice non è univoco e ordinato, i panda usano la ricerca binaria O (logN), quando l'indice è un panda ordinato a caso è necessario controllare tutte le chiavi nell'indice O (N).

È possibile chiamare sort_index metodo:

import numpy as np 
import pandas as pd 
x = np.random.randint(0, 200, 10**6) 
df1 = pd.DataFrame({'x':x}) 
df2 = df1.set_index('x', drop=False) 
df3 = df2.sort_index() 
%timeit df1.loc[100] 
%timeit df2.loc[100] 
%timeit df3.loc[100] 

risultato:

10000 loops, best of 3: 71.2 µs per loop 
10 loops, best of 3: 38.9 ms per loop 
10000 loops, best of 3: 134 µs per loop