Corrispondenza testo fuzzy C#

Question

Sto scrivendo un'interfaccia utente desktop (.Net WinForms) per aiutare un fotografo a ripulire i suoi metadati dell'immagine. C'è una lista di 66k + frasi. Qualcuno può suggerire un buon componente open source/free. NET che posso usare che utilizza una sorta di algoritmo per identificare i potenziali candidati per il consolidamento? Per esempio ci possono essere due o più voci che sono in realtà la stessa parola o frase che differiscono solo per spazi vuoti o punteggiatura o anche lieve errore ortografico. In ultima analisi, l'applicazione si baserà sull'azione dell'utente per consolidare le frasi, ma avere un modo efficace per individuare automaticamente i potenziali candidati si rivelerà inestimabile.

Answer 1

Lasciate che vi presenti la formula della distanza di Levenshtein. E 'impressionante:

http://en.wikipedia.org/wiki/Levenshtein_distance

In teoria dell'informazione e informatica, la distanza Levenshtein è una stringa di metrica per misurare la quantità di differenza tra due sequenze. Il termine modifica distanza è spesso usato per riferirsi specificamente alla distanza di Levenshtein.

Personalmente l'ho utilizzato in un ambiente sanitario, dove i nomi dei provider sono stati controllati per i duplicati. Usando il processo Levenshtein, abbiamo dato loro una valutazione di confidenza e gli abbiamo permesso di determinare se si trattava di un vero duplicato o qualcosa di unico.