Inserimento batch JDBC SLOW! Voglio dire, DAVVERO LENTAMENTE?

Question

Ecco il punto:

1. creo una connessione conn utilizzando il DriverManager
2. ho impostato conn.autoCommit(false);
3. Poi ho PreparedStatement pStat = conn.prepareStatement(insert_string_with_parameter);
4. ho impostato diversi parametri con pStat.set ... poi aggiungo il lotto con pStat.addBatch();
5. Ogni 10000 righe (chiamo addBatch() 10000 volte), chiamo pStat.executeBatch();
6. Non sono sicuro se necessario, ma che io chiamo anche pStat.clearBatch() subito dopo

Anche se tutto quanto sopra suona bene a me, questo è LENTO !!!.

Ho una media di soli 35 record (solo 8 colonne in totale, solo una chiave primaria auto-incrementante tecnica e alcuni vincoli non nulli) al secondo. Calcolo che mi ci vorrebbe una settimana per inserire tutte le mie righe da 20M ...

Sto facendo qualcosa di sbagliato?

Quante righe dovrei provare ad aggiungere ad ogni ciclo batch? Sono 10000 troppi?

Answer 1

Se si utilizza MySQL con un driver JDBC intorno alla versione 5.1.7, è possibile che sia interessato da a bug that slows down batch inserts. L'aggiornamento a 5.1.10 or later dovrebbe occuparsene.