Come deserializzare 1GB di oggetti in Python più velocemente di cPickle?

Question

Abbiamo un server Web basato su Python che designa un numero di file di dati di grandi dimensioni all'avvio usando cPickle. I file di dati (decapitati usando HIGHEST_PROTOCOL) sono circa 0,4 GB su disco e vengono caricati in memoria come circa 1,2 GB di oggetti Python - questo richiede circa 20 secondi. Stiamo usando Python 2.6 su macchine Windows a 64 bit.

Il collo di bottiglia non è certamente il disco (ci vogliono meno di 0,5 secondi per leggere effettivamente tanti dati), ma l'allocazione della memoria e la creazione dell'oggetto (ci sono milioni di oggetti creati). Vogliamo ridurre gli anni '20 per ridurre i tempi di avvio.

C'è un modo per deserializzare più di 1 GB di oggetti in Python molto più veloce di cPickle (come 5-10x)? Poiché il tempo di esecuzione è legato all'allocazione della memoria e alla creazione dell'oggetto, presumo che l'uso di un'altra tecnica di disaccoppiamento come JSON non sarebbe di aiuto in questo caso.

So che alcuni linguaggi interpretati hanno un modo per salvare l'intera immagine di memoria come un file su disco, in modo che possano caricarli nuovamente in memoria tutto in una volta, senza allocazione/creazione per ciascun oggetto. C'è un modo per fare questo, o raggiungere qualcosa di simile, in Python?

Answer 1

1. Provare il modulo marshal: è interno (utilizzato dal byte-compilatore) e intenzionalmente non viene pubblicizzato molto, ma è molto più veloce. Si noti che non serializza istanze arbitrarie come pickle, solo i tipi built-in (non ricordare i vincoli esatti, vedere i documenti). Si noti inoltre che il formato non è stabile.

2. Se è necessario inizializzare più processi e può tollerare un processo sempre caricato, esiste una soluzione elegante: caricare gli oggetti in un unico processo e quindi non fare nulla al suo interno, tranne eseguire i processi su richiesta. Il forking è veloce (copia su scrittura) e condivide la memoria tra tutti i processi. [Disclaimer: non testato; unlike Ruby, Python conteggio ref si attivano le copie della pagina quindi questo è probabilmente inutile se si dispone di enormi oggetti e/o di accedere a una piccola frazione di essi.]

3. Se gli oggetti contengono un sacco di dati grezzi come array numpy, è può memorizzarli in memoria per un avvio molto più veloce. pytables è anche un bene per questi scenari.

4. Se si utilizzerà solo una piccola parte degli oggetti, è probabile che un database OO (come Zope) possa essere di aiuto. Anche se ne hai bisogno tutti in memoria, ti basterà perdere un sacco di spese generali per poco guadagno. (mai usato, quindi potrebbe essere una sciocchezza).

5. Forse altre implementazioni Python possono farlo? Non lo so, solo un pensiero ...

Answer 2

Non ho usato cPickle (o Python) ma in casi come questo penso che la strategia migliore sia quella di evitare il caricamento non necessario degli oggetti fino a quando non sono realmente necessari - diciamo carico dopo l'avvio su un thread diverso, in realtà di solito è meglio evitare inutili operazioni di caricamento/inizializzazione in qualsiasi momento per ovvi motivi. Google "lazy loading" o "lazy initialization". Se hai davvero bisogno che tutti gli oggetti eseguano qualche compito prima dell'avvio del server, allora potresti provare ad implementare un metodo di deserializzazione manuale manuale, in altre parole implementare qualcosa da te se hai una conoscenza approfondita dei dati che ti occuperai e che possono aiutarti 'spremere' le prestazioni migliori quindi lo strumento generale per gestirle.

Answer 3

Hai provato a sacrificare l'efficienza del decapaggio non utilizzando HIGHEST_PROTOCOL? Non è chiaro quali siano i costi delle prestazioni associati all'uso di questo protocollo, ma potrebbe valere la pena provare.

Answer 4

Impossibile rispondere a questo senza sapere di più sul tipo di dati che si sta caricando e su come lo si utilizza.

Se si tratta di una sorta di logica aziendale, forse dovresti provare a trasformarlo in un modulo precompilato;

Se si tratta di dati strutturati, è possibile delegarli a un database e solo tirare ciò che è necessario?

I dati hanno una struttura regolare? C'è un modo per dividerlo e decidere cosa è richiesto e solo dopo caricarlo?

Answer 5

Si carica() i dati prelevati direttamente dal file? Che ne dici di provare a caricare il file nella memoria e poi a caricare? Vorrei iniziare provando il cStringIO(); in alternativa, puoi provare a scrivere la tua versione di StringIO che userebbe buffer() per tagliare la memoria che ridurrebbe le operazioni copy() necessarie (cStringIO potrebbe essere ancora più veloce, ma dovrai provare).

A volte ci sono enormi colli di bottiglia nelle prestazioni quando si eseguono questi tipi di operazioni, specialmente sulla piattaforma Windows; il sistema Windows è in qualche modo molto poco ottimizzato per fare molte piccole letture mentre UNIX riesce a far fronte abbastanza bene; se load() fa molte letture piccole o stai chiamando load() più volte per leggere i dati, questo sarebbe di aiuto.

Answer 6

io aggiungo un'altra risposta che potrebbe essere utile - se è possibile, si può provare a definire _ slot _ sulla classe che è più comunemente creato? Questo può essere un po 'limitante e impossibile, tuttavia sembra che abbia ridotto a circa la metà il tempo necessario per l'inizializzazione del mio test.