JDBC prestazioni di inserimento batch

Question

Ho bisogno di inserire un paio di centinaia di milioni di record nel mysql db. Sto inserendolo in batch 1 milione alla volta. Si prega di consultare il mio codice qui sotto. Sembra essere lento. C'è un modo per ottimizzarlo?

try { 
     // Disable auto-commit 
     connection.setAutoCommit(false); 

     // Create a prepared statement 
     String sql = "INSERT INTO mytable (xxx), VALUES(?)"; 
     PreparedStatement pstmt = connection.prepareStatement(sql); 

     Object[] vals=set.toArray(); 
     for (int i=0; i<vals.length; i++) { 
      pstmt.setString(1, vals[i].toString()); 
      pstmt.addBatch(); 
     } 

     // Execute the batch 
     int [] updateCounts = pstmt.executeBatch(); 
     System.out.append("inserted "+updateCounts.length); 

Answer 1

È possibile inserire più righe con una sola istruzione di inserimento, facendo un paio di migliaia per volta può notevolmente accelerare le cose, vale a dire, invece di fare per esempio 3 inserti del modulo INSERT INTO tbl_name (a,b,c) VALUES(1,2,3);, si fa INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(1,2,3),(1,2,3); (Potrebbe essere JDBC .addBatch() fa l'ottimizzazione simile ora - sebbene il mysql addBatch fosse interamente non ottimizzato e semplicemente emettendo singole query in ogni caso - non so se questo è ancora il caso con i recenti driver)

Se davvero bisogno di velocità, caricare i dati da un file separato da virgole con LOAD DATA INFILE, otteniamo circa 7-8 volte SpeedUp farlo vs facendo decine di milioni di inserti.

Answer 2

Se:

1. E 'da inserire una nuova tabella, o la quantità è maggiore, allora i dati già inseriti
2. ci sono gli indici della tabella
3. Non è necessario altro l'accesso al tabella durante l'inserimento

Quindi ALTER TABLE tbl_name DISABLE KEYS può notevolmente migliorare la velocità dei vostri inserti. Quando hai finito, esegui ALTER TABLE tbl_name ENABLE KEYS per iniziare a creare gli indici, che può richiedere un po 'di tempo, ma non quasi quanto farlo per ogni inserto.

Answer 3

Si può provare a utilizzare l'oggetto DDBulkLoad.

// Get a DDBulkLoad object 
DDBulkLoad bulkLoad = DDBulkLoadFactory.getInstance(connection); 
bulkLoad.setTableName(“mytable”); 
bulkLoad.load(“data.csv”); 

Answer 4

Ho avuto un problema di prestazioni simile con mysql e risolto impostando i useServerPrepStmts ei rewriteBatchedStatements proprietà nel URL collegamento.

Connection c = DriverManager.getConnection("jdbc:mysql://host:3306/db?useServerPrepStmts=false&rewriteBatchedStatements=true", "username", "password"); 

Answer 5

Mi piacerebbe espandere la risposta di Bertil, poiché ho sperimentato i parametri dell'URL di connessione.

rewriteBatchedStatements=true è il parametro importante. useServerPrepStmts è già falso per impostazione predefinita e persino la modifica a true non fa molta differenza in termini di prestazioni di inserimento batch.

Ora penso sia il momento di scrivere come rewriteBatchedStatements=true migliora le prestazioni in modo così drammatico. Lo fa da rewriting of prepared statements for INSERT into multi-value inserts when executeBatch() (Source). Ciò significa che invece di inviare i seguenti n istruzioni INSERT al server MySQL ogni volta executeBatch() si chiama:

INSERT INTO X VALUES (A1,B1,C1) 
INSERT INTO X VALUES (A2,B2,C2) 
... 
INSERT INTO X VALUES (An,Bn,Cn) 

avrebbe inviato una singola istruzione INSERT:

INSERT INTO X VALUES (A1,B1,C1),(A2,B2,C2),...,(An,Bn,Cn) 

Si può osservare che commutando su la registrazione mysql (per SET global general_log = 1) che registrava in un file ogni istruzione inviata al server mysql.

Answer 6

try { 
     // Disable auto-commit 
     connection.setAutoCommit(false); 
     int maxInsertBatch = 10000;  
     // Create a prepared statement 
     String sql = "INSERT INTO mytable (xxx), VALUES(?)"; 
     PreparedStatement pstmt = connection.prepareStatement(sql); 

     Object[] vals=set.toArray(); 
     int count = 1; 
     for (int i=0; i<vals.length; i++) { 
      pstmt.setString(1, vals[i].toString()); 
      pstmt.addBatch(); 
      if(count%maxInsertBatch == 0){ 
       pstmt.executeBatch(); 
      } 
      count++; 
     } 

     // Execute the batch 
     pstmt.executeBatch(); 
     System.out.append("inserted "+count);