1. casa
  2. Domanda e risposta
  3. KDB + like asof si uniscono per i dati di timeseries nei panda?

KDB + like asof si uniscono per i dati di timeseries nei panda?

2012-09-07 8 views
12

kdb + ha una funzione aj che viene in genere utilizzata per unire tabelle lungo colonne temporali.KDB + like asof si uniscono per i dati di timeseries nei panda?

Ecco un esempio in cui sono presenti tabelle di scambio e di quotazioni e ottengo la quotazione prevalente per ogni operazione.

q)5# t 
time   sym price size 
----------------------------- 
09:30:00.439 NVDA 13.42 60511 
09:30:00.439 NVDA 13.42 60511 
09:30:02.332 NVDA 13.42 100 
09:30:02.332 NVDA 13.42 100 
09:30:02.333 NVDA 13.41 100 

q)5# q 
time   sym bid ask bsize asize 
----------------------------------------- 
09:30:00.026 NVDA 13.34 13.44 3  16 
09:30:00.043 NVDA 13.34 13.44 3  17 
09:30:00.121 NVDA 13.36 13.65 1  10 
09:30:00.386 NVDA 13.36 13.52 21 1  
09:30:00.440 NVDA 13.4 13.44 15 17 

q)5# aj[`time; t; q] 
time   sym price size bid ask bsize asize 
----------------------------------------------------- 
09:30:00.439 NVDA 13.42 60511 13.36 13.52 21 1  
09:30:00.439 NVDA 13.42 60511 13.36 13.52 21 1  
09:30:02.332 NVDA 13.42 100 13.34 13.61 1  1  
09:30:02.332 NVDA 13.42 100 13.34 13.61 1  1  
09:30:02.333 NVDA 13.41 100 13.34 13.51 1  1

Come posso fare la stessa operazione con i panda? Sto lavorando con il commercio e preventivo i dataframes in cui l'indice è datetime64.

In [55]: quotes.head() 
Out[55]: 
           bid ask bsize asize 
2012-09-06 09:30:00.026000 13.34 13.44  3  16 
2012-09-06 09:30:00.043000 13.34 13.44  3  17 
2012-09-06 09:30:00.121000 13.36 13.65  1  10 
2012-09-06 09:30:00.386000 13.36 13.52  21  1 
2012-09-06 09:30:00.440000 13.40 13.44  15  17 

In [56]: trades.head() 
Out[56]: 
          price size 
2012-09-06 09:30:00.439000 13.42 60511 
2012-09-06 09:30:00.439000 13.42 60511 
2012-09-06 09:30:02.332000 13.42 100 
2012-09-06 09:30:02.332000 13.42 100 
2012-09-06 09:30:02.333000 13.41 100

vedo che i panda ha una funzione ASOF, ma che non è definito sulla dataframe, solo sulla Serie dell'oggetto. Immagino che si possa passare attraverso ciascuna delle serie e allinearle una per una, ma mi chiedo se c'è un modo migliore?

fonte

2012-09-07 signalseeker

+1

questo è anche chiamato * rolling join * – jangorecki

risposta

8

Come lei ha citato nella domanda, scorrendo ogni colonna dovrebbe funzionare per voi:

df1.apply(lambda x: x.asof(df2.index))

Potremmo potenzialmente creare una versione più veloce NaN-ingenua della DataFrame.asof di fare tutte le colonne in un solo colpo. Ma per ora, penso che questo sia il modo più diretto.

fonte

2012-09-07 22:16:09

+0

Grazie. Sto prendendo questo approccio per ora. Ma una versione NaN-naive sarebbe molto gradita! – signalseeker

+1

https://gist.github.com/3686236 – signalseeker

13

ho scritto una funzione sotto-pubblicizzato ordered_merge qualche tempo fa:

In [27]: quotes 
Out[27]: 
         time bid ask bsize asize 
0 2012-09-06 09:30:00.026000 13.34 13.44  3  16 
1 2012-09-06 09:30:00.043000 13.34 13.44  3  17 
2 2012-09-06 09:30:00.121000 13.36 13.65  1  10 
3 2012-09-06 09:30:00.386000 13.36 13.52  21  1 
4 2012-09-06 09:30:00.440000 13.40 13.44  15  17 

In [28]: trades 
Out[28]: 
         time price size 
0 2012-09-06 09:30:00.439000 13.42 60511 
1 2012-09-06 09:30:00.439000 13.42 60511 
2 2012-09-06 09:30:02.332000 13.42 100 
3 2012-09-06 09:30:02.332000 13.42 100 
4 2012-09-06 09:30:02.333000 13.41 100 

In [29]: ordered_merge(quotes, trades) 
Out[29]: 
         time bid ask bsize asize price size 
0 2012-09-06 09:30:00.026000 13.34 13.44  3  16 NaN NaN 
1 2012-09-06 09:30:00.043000 13.34 13.44  3  17 NaN NaN 
2 2012-09-06 09:30:00.121000 13.36 13.65  1  10 NaN NaN 
3 2012-09-06 09:30:00.386000 13.36 13.52  21  1 NaN NaN 
4 2012-09-06 09:30:00.439000 NaN NaN NaN NaN 13.42 60511 
5 2012-09-06 09:30:00.439000 NaN NaN NaN NaN 13.42 60511 
6 2012-09-06 09:30:00.440000 13.40 13.44  15  17 NaN NaN 
7 2012-09-06 09:30:02.332000 NaN NaN NaN NaN 13.42 100 
8 2012-09-06 09:30:02.332000 NaN NaN NaN NaN 13.42 100 
9 2012-09-06 09:30:02.333000 NaN NaN NaN NaN 13.41 100 

In [32]: ordered_merge(quotes, trades, fill_method='ffill') 
Out[32]: 
         time bid ask bsize asize price size 
0 2012-09-06 09:30:00.026000 13.34 13.44  3  16 NaN NaN 
1 2012-09-06 09:30:00.043000 13.34 13.44  3  17 NaN NaN 
2 2012-09-06 09:30:00.121000 13.36 13.65  1  10 NaN NaN 
3 2012-09-06 09:30:00.386000 13.36 13.52  21  1 NaN NaN 
4 2012-09-06 09:30:00.439000 13.36 13.52  21  1 13.42 60511 
5 2012-09-06 09:30:00.439000 13.36 13.52  21  1 13.42 60511 
6 2012-09-06 09:30:00.440000 13.40 13.44  15  17 13.42 60511 
7 2012-09-06 09:30:02.332000 13.40 13.44  15  17 13.42 100 
8 2012-09-06 09:30:02.332000 13.40 13.44  15  17 13.42 100 
9 2012-09-06 09:30:02.333000 13.40 13.44  15  17 13.41 100

Potrebbe essere facilmente (o meglio, per qualcuno che abbia familiarità con il codice) esteso per essere un "LEFT JOIN" imitando KDB. In questo caso mi rendo conto che inoltrare i dati commerciali non è appropriato; solo illustrando la funzione.

fonte

2012-09-09 02:22:04

+1

Grazie, questo è molto bello sapere. Questo è essenzialmente uj (http://code.kx.com/wiki/Reference/uj) in KDB !. Per l'aj funzionalità, sto andando con l'approccio di Chang, ma ho intenzione di prendere una seria pugnalata al codice più tardi. – signalseeker

+1

Potrebbe essere generalizzato il caso in cui il dataframe contiene molte serie insieme, ad esempio se i dati, in aggiunta ai timestamp, avessero anche una colonna di ID stock? (Quindi potremmo avere migliaia di gruppi e ognuno di essi è una serie). Sospetto che avremo bisogno di un mix di 'groupby()' e 'ordered_merge', ma sto lottando su come farlo ... Di sicuro, sarebbe sbagliato semplicemente' ffill' sull'ordine generale del dataframe (non voglio che un gruppo si riversi nel gruppo successivo in virtù del riempimento in avanti). –

Problemi correlati

 Problemi correlati