copia dei dati da un'enorme tabella di produzione

Question

La società per cui lavoro ha alcune enormi tabelle di registro/giornale che vengono scritte ogni 10 secondi circa con le transazioni. Vorrei copiare un sacco di dati in questa tabella ed eliminarlo da quella tabella perché circa il 75% dei vecchi dati potrebbe essere messo in una tabella di archivio o qualcosa del genere, ma se faccio questo sbagliato e la tabella viene bloccata sarebbe un disastro.

In una domanda precedente un tizio si avvicinò con una cosa del genere, mi piacerebbe sapere che questo non rovinerebbe tutto, è l'idea del nolock sufficiente per tenermi al sicuro e tutte le scritture funzionano bene? Se no, cosa dovrei fare?

set identity_insert newtable on 
DECLARE @StartID bigint, @LastID bigint, @EndID bigint 
select @StartID = max(id)+1 
from newtable 

select @LastID = max(ID) 
from oldtable 

while @StartID < @LastID 
begin 
set @EndID = @StartID + 1000000 

insert into newtable (FIELDS,GO,HERE) 
select FIELDS,GO,HERE from oldtable (NOLOCK) 
where id BETWEEN @StartID AND @EndId 

set @StartID = @EndID + 1 
end 
set identity_insert newtable off 
go 

Answer 1

L'estrema cautela nella generazione dell'elenco è probabilmente fuori bordo, ma è consigliabile eseguire un'eliminazione batch.

Per il INSERT, probabilmente non è necessario il ciclo WHILE. Per la DELETE, però, vorrei usare qualcosa di simile (regolare la dimensione dei lotti alle proprie esigenze):

WHILE 1=1 
BEGIN 
    DELETE TOP (10000) o 
    FROM OldTable o 
    INNER JOIN NewTable N 
     ON o.id = n.id 
    IF @@ROWCOUNT < 10000 BREAK; 
END 

Questo sarà DELETE record 10k alla volta fino a quando non ci sono record da eliminare.

Answer 2

Una possibilità è quella di partizionare il tavolo per ora (ammesso che abbiate una colonna DATETIME nella tabella che il default è GETDATE() su ogni inserto). Avere le partizioni consente di eseguire la manutenzione (rilascio, copia, ecc.) Sulle partizioni precedenti senza influire su quella corrente.