SQL Server: correzione nomi commerciali errati

Question

Sto cercando un consiglio su come affrontare il problema dell'ortografia diversa con lo stesso nome. Ho un database SQL Server con nomi di società e ci sono alcune aziende uguali ma l'ortografia è diversa.

Ad esempio:

Building Supplies pty 
Buidings Supplies pty 
Building Supplied l/d 

Il problema è che non vi sono chiare consistenze nella variazione. A volte è un extra, altre volte è uno spazio in più.

Purtroppo non ho una lista di ricerca, quindi non posso usare Fuzzy Lookup. Ho bisogno di creare la lista pulita.

Esiste un metodo che le persone utilizzano per risolvere questo problema?

P.S Ho provato a cercare per questo problema, ma non riesco a trovare un filo simile

Grazie

Answer 1

È possibile utilizzare SOUNDEX()DIFFERENCE() per questo scopo.

DECLARE @SampleData TABLE(ID INT, BLD VARCHAR(50), SUP VARCHAR(50)) 

INSERT INTO @SampleData 
SELECT 1, 'Building','Supplies' 
UNION 
SELECT 2, 'Buidings','Supplies' 
UNION 
SELECT 3, 'Biulding','Supplied' 
UNION 
SELECT 4, 'Road','Contractor' 
UNION 
SELECT 5, 'Raod','Consractor' 
UNION 
SELECT 6, 'Highway','Supplies' 

SELECT *, DIFFERENCE('Building', BLD) AS DIF 
FROM @SampleData 
WHERE DIFFERENCE('Building', BLD) >= 3 

Risultato

ID BLD   SUP  DIF 
1 Building Supplies 4 
2 Buidings Supplies 3 
3 Biulding Supplied 4 

Se questo serve il vostro scopo è possibile scrivere una query di aggiornamento per aggiornare record selezionato di conseguenza.

Answer 2

Oltre all'opzione SOUNDEX() DIFFERENCE() (che è molto buona btw!), È possibile esaminare di più il SSIS.

della raccolta dei dati è in inglese e non esclusivamente nomi di persone c'è molto si può fare con questi componenti:

estrazione Term

Ricerca termini

Fuzzy raggruppamento

Fuzzy look

Il flusso principale sarebbe una struttura a più livelli in cui si cerca di trovare duplicati sempre più s certi modi. Invece di applicarli automaticamente, si inviano tutti i nomi e le chiavi necessari per applicare le modifiche a un'area di gestione temporanea in cui possono essere esaminate e, se necessario, applicate.

Se andate a questo proposito molto intelligente è possibile utilizzare i dati esaminati come repository per rendere il pacchetto "imparare", per esempio iu è quasi mai valido in inglese quindi se questo è trovato e cambiarlo con ui fa una valida parola inglese si potrebbe voler iniziare ad applicare quelle automaticamente ad un certo punto.

Un'altra cosa da considerare è mantenere un elenco di tutti i nomi convalidati e usarlo per verificare la presenza di duplicati di tali nomi e per evitare ricorsione/carico non necessari sul controllo dei dati di origine.