Salvare il dataframe dei panda su file utilizzando bcolz

Question

Voglio usare bcolz per salvare un dataframe panda in un file.

ho provato:

Dopo di che, ct contiene il dataframe compressa, ma non riesco a trovare come posso salvarlo in un file.

Answer 1

È possibile utilizzare bcolz con contenitori di dati persistenti esattamente nello stesso modo di quelli in memoria. Si consiglia di dare un'occhiata a questo tutorial, che funziona con set di dati sul disco utilizzando panda/HDF5, PyTables puri, SQLite e bcolz:

https://github.com/FrancescAlted/EuroPython2015/blob/master/4-On-Disk-Tables.ipynb

Answer 2

Sembra che bcolz.ctable abbia un metodo tohdf5 che è possibile utilizzare; tuttavia è necessario installare hdf5, pytables, ecc. In caso contrario, è possibile utilizzare pickle, che è il solito modo di salvare su disco un oggetto Python generico.

A proposito, se sei solo interessato a comprimere i tuoi dati, potresti voler guardare un'opzione più low-tech come gzip; la compressione sarà altrettanto buona se non migliore di un formato dati colonnare, che è più interessato a fare velocemente query contro i tuoi dati.

Answer 3

Hai semplicemente bisogno di specificare dove creare la tabella quando si legge nel dataframe, così:

import bcolz 
import pandas as pd 

df = pd.read_csv(open("mydata.csv", 'rb'), delimiter='\t') 
ct = bcolz.ctable.fromdataframe(df, rootdir='dataframe.bcolz')