ricerca approssimativa in un database

Question

Ho un ampio database con un elenco di istituzioni (università, ospedali, ecc.). I nomi delle istituzioni provengono da diverse fonti e possono essere scritti in modo diverso per la stessa istituzione. Possono essere errati, ad esempio, o le parole possono essere abbreviate ("uni" o "univ" o "università")

Dato un nome che ho bisogno di inserire nel database, c'è un modo pratico per scoprire se questa istituzione è già nel database? Questo non è un progetto di ricerca, quindi sto cercando una soluzione che sia ragionevolmente veloce.

Sto usando django e postgresql, ma non importa, suppongo.

Answer 1

Questo è il problema di record linkage. Molti database forniscono metodi di base per questo, come personaggio di livello n -gram corrispondenza, in cui un termine come "università" si espande in

[ "uni", "NR", "Ive", "ver", "ERS", ...]

per n = 3. Il database potrebbe indice di tutti tali n -grams e consentire una ricerca con una sorta di corrispondenza ponderata. pg_trgm sembra fare esattamente questo, provalo.

Answer 2

Sembra che tu voglia trovare un valore nel database con una piccola distanza lessicale dal valore che ti viene dato. Trovare le cose con prefissi è abbastanza semplice, ma le parole con errori di ortografia sono più difficili. Potresti voler leggere Peter Norvig's post on spell correctors.

Answer 3

Probabilmente dovresti cercare di utilizzare un motore di ricerca dedicato. Django-haystack consente di facilmente aggiungere motori di ricerca come Solr, Whoosh o Xapian al progetto.