Calcolo dell'autocorrelazione di Pandas DataFrame lungo ciascuna colonna

Question

Desidero calcolare i coefficienti di autocorrelazione della lunghezza di ritardo uno tra le colonne di un DataFrame di Pandas. Un frammento dei miei dati è:

  RF  PC   C   D  PN  DN   P 
year                  
1890  NaN  NaN  NaN  NaN  NaN  NaN  NaN 
1891 -0.028470 -0.052632 0.042254 0.081818 -0.045541 0.047619 -0.016974 
1892 -0.249084 0.000000 0.027027 0.067227 0.099404 0.045455 0.122337 
1893 0.653659 0.000000 0.000000 0.039370 -0.135624 0.043478 -0.142062 

Lungo anno, voglio calcolare autocorrelazioni di lag uno per ogni colonna (RF, PC, ecc ...).

Per calcolare le autocorrelazioni, ho estratto due serie temporali per ogni colonna i cui dati di inizio e fine differivano di un anno e quindi i coefficienti di correlazione calcolati con numpy.corrcoef.

Per esempio, ho scritto:

numpy.corrcoef(data[['C']][1:-1],data[['C']][2:])

(l'intero dataframe si chiama data).
Tuttavia, il comando purtroppo restituito:

array([[ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan], 
     ..., 
     [ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan], 
     [ nan, nan, nan, ..., nan, nan, nan]]) 

Qualcuno può consigliarmi gentilmente su come calcolare autocorrelazioni?

Answer 1

si dovrebbe usare:

numpy.corrcoef(df['C'][1:-1], df['C'][2:]) 

df[['C']] rappresenta un dataframe con una sola colonna, mentre df['C'] è una serie che contiene i valori nella colonna C.

Answer 2

Questa è una risposta in ritardo, ma per gli utenti futuri, è anche possibile utilizzare il pandas.Series.autocorr(), che calcola lag-N (default = 1) autocorrelazione sulla Serie:

df['C'].autocorr(lag=1) 

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.autocorr.html#pandas.Series.autocorr

Answer 3

.autocorrapplies to Serie, non DataFrames. È possibile utilizzare .apply da applicare a un dataframe:

def df_autocorr(df, lag=1, axis=0): 
    """Compute full-sample column-wise autocorrelation for a DataFrame.""" 
    return df.apply(lambda col: col.autocorr(lag), axis=axis) 
d1 = DataFrame(np.random.randn(100, 6)) 

df_autocorr(d1) 
Out[32]: 
0 0.141 
1 -0.028 
2 -0.031 
3 0.114 
4 -0.121 
5 0.060 
dtype: float64 

Si potrebbe anche calcolare rotolamento autocorrelazioni con una finestra specificata come segue (questo è ciò che .autocorr sta facendo sotto il cofano):

def df_rolling_autocorr(df, window, lag=1): 
    """Compute rolling column-wise autocorrelation for a DataFrame.""" 

    return (df.rolling(window=window) 
     .corr(df.shift(lag))) # could .dropna() here 

df_rolling_autocorr(d1, window=21).dropna().head() 
Out[38]: 
     0  1  2  3  4  5 
21 -0.173 -0.367 0.142 -0.044 -0.080 0.012 
22 0.015 -0.341 0.250 -0.036 0.023 -0.012 
23 0.038 -0.329 0.279 -0.026 0.075 -0.121 
24 -0.025 -0.361 0.319 0.117 0.031 -0.120 
25 0.119 -0.320 0.181 -0.011 0.038 -0.111