cPickle: SystemError: ritorno di errore senza eccezioni impostato

Question

Mentre il dumping grande matrice (170000 * 20000) come segue

cPickle.dump(train_set,gzip.open('train.pickle.gz','wb'), cPickle.HIGHEST_PROTOCOL) 

ottengo l'errore seguente:

SystemError: error return without exception set 

Come vorrei affrontare in questo caso?

Answer 1

cPickle non può essere utilizzato per la memorizzazione di oggetti molto grandi (vedere http://bugs.python.org/issue11564).

sono disponibili diverse opzioni:

• dividere i dati in blocchi e conservarla in più file
• numpy.save
• h5py < - il mio preferito per la sua comoda interfaccia NumPy-like, più i dati sono memorizzati in hdf5 che abilita l'interoperabilità con altri software/lingue.
• pytables