Fuzzy String Ricerca con Whoosh in Python

Question

Ho creato un grande database di banche in MongoDB. Posso facilmente prendere queste informazioni e creare indici con esso in whoosh. Per esempio mi piacerebbe essere in grado di abbinare i nomi delle banche 'Eagle Bank & Trust Co of Missouri' e 'Eagle Bank and Trust Company of Missouri'. Il seguente codice funziona con semplici sfocata tale, ma non può raggiungere una corrispondenza di quanto sopra:

from whoosh.index import create_in 
from whoosh.fields import * 

schema = Schema(name=TEXT(stored=True)) 
ix = create_in("indexdir", schema) 
writer = ix.writer() 

test_items = [u"Eagle Bank and Trust Company of Missouri"] 

writer.add_document(name=item) 
writer.commit() 

from whoosh.qparser import QueryParser 
from whoosh.query import FuzzyTerm 

with ix.searcher() as s: 
    qp = QueryParser("name", schema=ix.schema, termclass=FuzzyTerm) 
    q = qp.parse(u"Eagle Bank & Trust Co of Missouri") 
    results = s.search(q) 
    print results 

mi da:

<Top 0 Results for And([FuzzyTerm('name', u'eagle', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'bank', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'trust', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'co', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'missouri', boost=1.000000, minsimilarity=0.500000, prefixlength=1)]) runtime=0.00166392326355> 

È possibile ottenere quello che voglio con Fruscio? Se no, quali altre soluzioni basate su Python ho?

Answer 1

Si potrebbe partita Co con Company utilizzando Fuzzy Cerca in Fruscio ma Non dovrebbe fare perché la differenza tra Co e Company è grande. Co è simile a Company come Be è simile a Beast e ny a Company, È possibile immaginare quanto sia grave e quanto grande sarà il risultato della ricerca.

Tuttavia, se si desidera far corrispondere Compan o compani o Companee-Company si potrebbe fare utilizzando una classe personalizzata di FuzzyTerm con predefinito maxdist uguale a 2 o più:

maxdist - La massima modifica la distanza dal testo specificato.

class MyFuzzyTerm(FuzzyTerm): 
    def __init__(self, fieldname, text, boost=1.0, maxdist=2, prefixlength=1, constantscore=True): 
     super(MyFuzzyTerm, self).__init__(fieldname, text, boost, maxdist, prefixlength, constantscore) 

Poi:

qp = QueryParser("name", schema=ix.schema, termclass=MyFuzzyTerm) 

Si potrebbe abbinare Co con Company impostando maxdist-5, ma questo, come ho detto dare risultati di ricerca cattivi. Suggerisco di mantenere maxdist da 1 a 3.

Se cerchi corrispondenze con varianti linguistiche di una parola, è meglio usare whoosh.query.Variations.

Nota: versioni precedenti di Whoosh ha minsimilarity anziché maxdist.

Answer 2

Forse alcune di queste cose potrebbe aiutare (string matching open source dai ragazzi SeatGeek):

https://github.com/seatgeek/fuzzywuzzy

Answer 3

Per riferimento futuro, e ci deve essere un modo migliore per fare questo in qualche modo, ma qui è la mia tiro.

# -*- coding: utf-8 -*- 
import whoosh 
from whoosh.index import create_in 
from whoosh.fields import * 
from whoosh.query import * 
from whoosh.qparser import QueryParser 

schema = Schema(name=TEXT(stored=True)) 
idx = create_in("C:\\idx_name\\", schema, "idx_name") 

writer = idx.writer() 

writer.add_document(name=u"This is craaazy shit") 
writer.add_document(name=u"This is craaazy beer") 
writer.add_document(name=u"Raphaël rocks") 
writer.add_document(name=u"Rockies are mountains") 

writer.commit() 

s = idx.searcher() 
print "Fields: ", list(s.lexicon("name")) 
qp = QueryParser("name", schema=schema, termclass=FuzzyTerm) 

for i in range(1,40): 
    res = s.search(FuzzyTerm("name", "just rocks", maxdist=i, prefixlength=0)) 
    if len(res) > 0: 
     for r in res: 
      print "Potential match (%s): [ %s ]" % (i, r["name"]) 
     break 
    else: 
     print "Pass: %s" % i 

s.close() 

Answer 4

È possibile utilizzare questa funzione qui sotto per fuzz ricercare un insieme di parole contro una frase:

def FuzzySearch(text, phrase): 
    """Check if word in phrase is contained in text""" 
    phrases = phrase.split(" ") 

    for x in range(len(phrases)): 
     if phrases[x] in text: 
      print("Match! Found " + phrases[x] + " in text") 
     else: 
      continue