pickle - mettendo più di 1 oggetto in un file?

Question

Ho un metodo che scarica un certo numero di oggetti in salamoia (le tuple, in realtà) in un file.

Non voglio metterli in una lista, voglio davvero fare il dump più volte nello stesso file. Il mio problema è, come posso caricare di nuovo gli oggetti? Il primo e il secondo oggetto sono solo una riga, quindi funziona con readlines. Ma tutti gli altri sono più lunghi. naturalmente, se provo

myob = cpickle.load(g1.readlines()[2]) 

dove g1 è il file, ottengo un errore EOF perché il mio oggetto in salamoia è più lungo di una riga. C'è un modo per ottenere solo il mio oggetto in salamoia?

Answer 1

Non provare a leggerli come linee del file, solo pickle.load() il numero di oggetti che si desidera. Vedere la mia risposta alla domanda How to save an object in Python per un esempio di farlo.

Answer 2

Se si passa il filehandle direttamente in pickle, è possibile ottenere il risultato desiderato.

import pickle 

# write a file 
f = open("example", "w") 
pickle.dump(["hello", "world"], f) 
pickle.dump([2, 3], f) 
f.close() 

f = open("example", "r") 
value1 = pickle.load(f) 
value2 = pickle.load(f) 
f.close() 

pickle.dump aggiungerà alla fine del file, in modo da poter chiamare più volte per scrivere i valori multipli.

pickle.load leggerà solo abbastanza dal file per ottenere il primo valore, lasciando il filehandle aperto e puntato all'inizio dell'oggetto successivo nel file. La seconda chiamata leggerà quindi il secondo oggetto e lascerà il puntatore del file alla fine del file. Una terza chiamata avrà esito negativo con un EOFError come ci si aspetterebbe.

Anche se nel mio esempio ho usato semplicemente il vecchio pickle, questa tecnica funziona allo stesso modo con cPickle.

Answer 3

Penso che il modo migliore sia quello di comprimere i dati in un singolo oggetto prima di memorizzarli e decomprimerlo dopo averlo caricato. Ecco un esempio utilizzando una tupla come il contenitore (you can use dict also):

a = [1,2] 
b = [3,4] 

with open("tmp.pickle", "wb") as f: 
    pickle.dump((a,b), f) 

with open("tmp.pickle", "rb") as f: 
    a,b = pickle.load(f)