Più righe con un singolo INSERT in SQLServer 2008

Question

Sto testando la velocità di inserimento di più righe con una singola istruzione INSERT.

Ad esempio: INSERT INTO [MyTable] Valori (5, 'cane'), (6, 'gatto'), (3, 'pesce)

Questo è molto veloce fino a quando mi passa 50 righe su una singola affermazione, quindi la velocità diminuisce in modo significativo.

Inserendo 10000 righe con lotti di 50 occorrono 0,9 secondi. Inserimento di 10000 righe con lotti di 51 occorrono 5,7 secondi.

La mia domanda ha due parti:

1. Perché c'è una tale calo le prestazioni del disco a 50?
2. Posso fare affidamento su questo comportamento e codificare la mia applicazione per non inviare mai batch superiori a 50?

I miei test sono stati eseguiti in C++ e ADO.

Modifica: Sembra che il punto di partenza non sia 50 righe, ma 1000 colonne. Ottengo risultati simili con 50 righe di 20 colonne o 100 righe di 10 colonne.

Answer 1

Hai anche confrontato l'approccio "unione tutti" mostrato qui? http://blog.sqlauthority.com/2007/06/08/sql-server-insert-multiple-records-using-one-insert-statement-use-of-union-all/

Sospetto che ci sia un cache/indice interno utilizzato fino a 50 righe (è un bel numero decimale rotondo). Dopo 50 righe ricade su un algoritmo di inserimento caso generale meno efficiente in grado di gestire quantità arbitrarie di input senza utilizzare memoria eccessiva.

Answer 2

il rallentamento è probabilmente l'analisi dei valori stringa: VALUES (5, 'dog'), (6, 'cat'), (3, 'fish) e non un problema INSERT.

provare qualcosa di simile, che inserirà una riga per ogni riga restituita dalla query:

INSERT INTO YourTable1 
    (col1, col2) 
    SELECT 
     Value1, Value2 
     FROM YourTable2 
     WHERE ...--rows will be more than 50 

e vedere cosa succede

Answer 3

Se si utilizza SQL 2008, quindi è possibile utilizzare il valore tavolo parametri e basta fare una singola istruzione di inserimento.

personalmente, non ho mai visto il rallentamento a 50 record di inserimenti anche con lotti regolari. Indipendentemente da ciò, siamo passati ai parametri del valore di tabella che ha avuto un significativo aumento di velocità per noi.

Answer 4

Pensieri casuali:

• è completamente coerente quando viene eseguito più volte?
• stai verificando la presenza di duplicati nelle prime 10 righe per il secondo inserto da 10 k?
• hai provato prima la dimensione del batch di 51?
• hai svuotato la tabella tra i test?

Answer 5

Potrebbe anche essere correlato alla dimensione della riga. La tabella che usi come esempio sembra avere solo 2 colonne. Cosa succede se ha 25 colonne? Le prestazioni diminuiscono anche a 50 righe?

Answer 6

Per inserti ad alto volume e alta frequenza, considerare l'utilizzo di Bulk Inserts per caricare i dati. Non è la cosa più semplice da implementare nel mondo e porta con sé una nuova serie di sfide, ma può essere molto più veloce di un INSERT.