Eliminazione di righe duplicate dal database sqlite

Question

Ho una tabella enorme - 36 milioni di righe - in SQLite3.

In questo tavolo molto grande, ci sono due colonne

• hash - testo
• d - reale

Tuttavia, alcune delle righe sono duplicati. Cioè, sia hash che d hanno gli stessi valori.

Inoltre, se due hash sono identici, così sono i valori di D, ma due ds identici non implica due hash identici

Ad ogni modo, voglio eliminare le righe duplicate. Non ho una colonna chiave primaria. Qual è il modo più veloce per farlo?

---

EDIT: delete from dist where rowid not in (select max(rowid) from dist group by hash);

sembra fare il trucco.

Answer 1

È necessario un modo per distinguere le righe. In base al tuo commento, potresti utilizzare lo speciale rowid column per quello.

per eliminare i duplicati, mantenendo il più basso rowid per (hash,d):

delete from YourTable 
where rowid not in 
     (
     select min(rowid) 
     from YourTable 
     group by 
       hash 
     ,  d 
     ) 

Answer 2

Se l'aggiunta di una chiave primaria non è un'opzione, un approccio sarebbe quello di memorizzare i duplicati DISTINCT in una tabella temporanea, eliminare tutti i record duplicati dalla tabella esistente e quindi aggiungere nuovamente i record nella tabella originale dalla tabella temporanea.

Per esempio (scritto per SQL Server 2008, ma la tecnica è la stessa per qualsiasi database):

DECLARE @original AS TABLE([hash] varchar(20), [d] float) 
INSERT INTO @original VALUES('A', 1) 
INSERT INTO @original VALUES('A', 2) 
INSERT INTO @original VALUES('A', 1) 
INSERT INTO @original VALUES('B', 1) 
INSERT INTO @original VALUES('C', 1) 
INSERT INTO @original VALUES('C', 1) 

DECLARE @temp AS TABLE([hash] varchar(20), [d] float) 
INSERT INTO @temp 
SELECT [hash], [d] FROM @original 
GROUP BY [hash], [d] 
HAVING COUNT(*) > 1 

DELETE O 
FROM @original O 
JOIN @temp T ON T.[hash] = O.[hash] AND T.[d] = O.[d] 

INSERT INTO @original 
SELECT [hash], [d] FROM @temp 

SELECT * FROM @original 

io non sono sicuro se SQLite ha una funzione ROW_NUMBER() tipo, ma se lo fa si poteva provare anche alcuni degli approcci elencati qui: Delete duplicate records from a SQL table without a primary key