Apertura Un file JSON di grandi dimensioni in Python

Question

Ho un file JSON da 1.7 GB quando sto tentando di aprire con json.load() quindi dà errore di memoria, Come potrebbe leggere il file json in python?

Il mio file JSON è una grande serie di oggetti contenenti chiavi specifiche.

EDIT: Beh, se è solo una grande serie di oggetti ed è nota la struttura degli oggetti in anticipo, allora non è necessario utilizzare strumenti che potremmo leggerli riga per riga. Una linea conterrà solo un elemento dell'array. Ho notato che è il modo in cui i file JSON sono memorizzati, per me ha funzionato come solo

>>>for line in open('file.json','r').readline(): 
... do something with(line) 

Answer 1

Si desidera un parser JSON incrementale come yajl e uno dei suoi Python. Un parser incrementale legge il meno possibile dall'input e invoca una richiamata quando viene decodificato qualcosa di significativo. Ad esempio, per estrarre solo numeri da un grande file JSON:

class ContentHandler(YajlContentHandler): 
    def yajl_number(self, ctx, val): 
     list_of_numbers.append(float(val)) 

parser = YajlParser(ContentHandler()) 
parser.parse(some_file) 

Vedi http://pykler.github.com/yajl-py/ per maggiori informazioni.

Answer 2

Ho trovato un altro wrapper python attorno alla libreria yajl, che è ijson.

Funziona meglio per me che yajl-py a causa dei seguenti motivi:

• yajl-py non ha rilevato biblioteca yajl sul mio sistema, ho dovuto modificare il codice in modo da farlo funzionare
• codice ijson è più compatto e più facile da usare
• ijson può funzionare sia con yajl v1 e v2 yajl, e ha persino puro python sostituzione yajl
• ijson ha molto bello ObjectBuilder, che aiuta l'estrazione di n ot solo eventi ma significativo sotto-oggetti dal flusso analizzato, e al livello specificato

Answer 3

ho trovato yajl (da qui ijson) di essere molto più lento rispetto modulo json quando un file di dati di grandi dimensioni è stato accessibile dal disco locale. Qui è un modulo che pretende di svolgere meglio di yajl/ijson (ancora più lento di json), quando viene utilizzato con Cython:

http://pietrobattiston.it/jsaone

Come l'autore fa notare, le prestazioni potrebbero essere migliori di json quando il file è ricevuto in rete poiché un parser incrementale può iniziare l'analisi prima.

Answer 4

Ecco un altro parser JSON incrementale.

https://pypi.python.org/pypi/jsonstream/1.0.0

io non l'ho usato.