Inserimento di massa dati enorme in SQLite utilizzando Python

Question

ho letto questo: Importing a CSV file into a sqlite3 database table using Python

e sembra che tutti suggerisce di utilizzare la linea per linea la lettura invece di utilizzare .import massa da SQLite. Tuttavia, ciò renderà l'inserimento molto lento se disponi di milioni di righe di dati. C'è un altro modo per aggirare questo?

Aggiornamento: Ho provato il seguente codice per inserire riga per riga, ma la velocità non è buona come mi aspettavo. Esiste un modo per migliorarlo

for logFileName in allLogFilesName: 
    logFile = codecs.open(logFileName, 'rb', encoding='utf-8') 
    for logLine in logFile: 
     logLineAsList = logLine.split('\t') 
     output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList) 
    logFile.close() 
connection.commit() 
connection.close() 

Answer 1

Dividi i tuoi dati in blocchi al volo utilizzando le espressioni del generatore, crea inserti all'interno della transazione. Ecco una citazione da sqlite optimization FAQ:

A meno che già in una transazione, ogni istruzione SQL ha un nuovo un'operazione iniziata per questo. Questo è molto costoso, poiché richiede la riapertura, la scrittura e la chiusura dello file journal per ciascuna istruzione . Questo può essere evitato avvolgendo sequenze di istruzioni SQL con BEGIN TRANSACTION; e FINE TRANSAZIONE; dichiarazioni. Questa accelerazione si ottiene anche per istruzioni che non alterano il database.

Here's come può essere il tuo codice.

Inoltre, sqlite ha una capacità di import CSV files.

Answer 2

Sqlite può fare tens of thousands of inserts per second, basta assicurarsi di fare tutto di loro in una singola transazione circondando gli inserti con BEGIN e COMMIT. (executemany() esegue automaticamente.)

Come sempre, non ottimizzare prima di sapere che la velocità sarà un problema. Provare prima la soluzione più semplice e ottimizzare solo se la velocità è inaccettabile.

Answer 3

Poiché questo è il risultato principale di una ricerca su Google, ho pensato che sarebbe stato utile aggiornare questa domanda.

Dal python sqlite docs è possibile utilizzare

import sqlite3 

persons = [ 
    ("Hugo", "Boss"), 
    ("Calvin", "Klein") 
] 

con = sqlite3.connect(":memory:") 

# Create the table 
con.execute("create table person(firstname, lastname)") 

# Fill the table 
con.executemany("insert into person(firstname, lastname) values (?,?)", persons) 

Ho usato questo metodo per commettere più di 50k inserti fila alla volta ed è estremamente veloce.