Utilizzo di Pandas per creare DataFrame con la serie, con conseguente errore di memoria

Question

Utilizzo la libreria Pandas per l'analisi delle serie temporali di telerilevamento. Alla fine mi piacerebbe salvare il mio DataFrame in csv usando le dimensioni del blocco, ma mi imbatto in un piccolo problema. Il mio codice genera 6 array NumPy che converto in serie Pandas. Ognuna di queste serie contiene un sacco di oggetti

>>> prcpSeries.shape 
(12626172,) 

vorrei aggiungere la serie in una Pandas DataFram (df) così posso salvarli blocco per blocco in un file CSV.

d = {'prcp': pd.Series(prcpSeries), 
    'tmax': pd.Series(tmaxSeries), 
    'tmin': pd.Series(tminSeries), 
    'ndvi': pd.Series(ndviSeries), 
    'lstm': pd.Series(lstmSeries), 
    'evtm': pd.Series(evtmSeries)} 

df = pd.DataFrame(d) 
outFile ='F:/data/output/run1/_'+str(i)+'.out' 
df.to_csv(outFile, header = False, chunksize = 1000) 
d = None 
df = None 

Ma il mio codice rimane bloccata al seguente riga di dare un errore di memoria

df = pd.DataFrame(d) 

Qualche suggerimento? È possibile riempire il blocco DataFrame di Pandas per blocco?

Answer 1

Se si conosce ciascuno di questi sono della stessa lunghezza allora si potrebbe creare il dataframe direttamente dalla matrice e quindi aggiungere ogni colonna:

df = pd.DataFrame(prcpSeries, columns=['prcp']) 
df['tmax'] = tmaxSeries 
... 

---

Nota: è anche possibile utilizzare il metodo to_frame (che vi permette di (opzionalmente) passare un nome - che è utile se la serie non ha uno):

df = prcpSeries.to_frame(name='prcp') 

---

Tuttavia, se sono di lunghezza variabile, questo perderà alcuni dati (eventuali array più lunghi di prcpSeries). Un'alternativa è quella di creare ogni come dataframe e quindi eseguire un outer join (utilizzando concat):

df1 = pd.DataFrame(prcpSeries, columns=['prcp']) 
df2 = pd.DataFrame(tmaxSeries, columns=['tmax']) 
... 

df = pd.concat([df1, df2, ...], join='outer', axis=1) 

Ad esempio:

In [21]: dfA = pd.DataFrame([1,2], columns=['A']) 

In [22]: dfB = pd.DataFrame([1], columns=['B']) 

In [23]: pd.concat([dfA, dfB], join='outer', axis=1) 
Out[23]: 
    A B 
0 1 1 
1 2 NaN