La qualità della ricerca non è facilmente misurabile. Per misurare la rilevanza è necessario avere un paio di cose:
Un concorrente per misurare la rilevanza. Per il tuo caso, la diversa istanza del tuo motore di ricerca sarà competitiva l'una per l'altra. Voglio dire un'istanza del motore di ricerca dovrebbe avere l'algoritmo di base in esecuzione, l'altro con fuzzy attivato, un altro con fuzzy e boosting e così via.
È necessario valutare manualmente i risultati. Puoi chiedere ai tuoi colleghi di valutare le coppie di query/url per le query più comuni e poi per i buchi (es. Query/url pair non valutato puoi avere qualche funzione di ranking dinamico usando l'algoritmo "Learning to Rank" http://en.wikipedia.org/wiki/Learning_to_rank. cosa vera (si prega di leggere qui di seguito di un esempio di Google/Bing).
Google e Bing sono concorrenti nel mercato della ricerca orizzontale. Questi motori di ricerca impiegano giudici manuali in tutto il mondo e investono milioni su di loro, per votare i risultati per le query. Quindi per ogni query/coppie di url generalmente vengono valutati i primi 3 o i primi 5 risultati. Sulla base di queste valutazioni possono utilizzare una metrica come NDCG (guadagno cumulativo scontato normalizzato), che è uno dei migliori e quello di il più popolare.
According to wikipedia:
scontato crescita cumulata (DCG) è una misura di efficacia di un motore di ricerca Web> algoritmo o applicazioni correlate, spesso usato nel recupero delle informazioni. Utilizzando una scala graduata di pertinenza dei documenti in un set di risultati del motore di ricerca, DCG misura l'utilità,> o guadagno, di un documento in base alla sua posizione nell'elenco dei risultati. Il guadagno viene accumulato> dalla cima della lista dei risultati alla fine con il guadagno di ogni risultato scontato a> ranghi più bassi.
Wikipedia spiega NDCG in modo eccezionale. È un breve articolo, per favore passa attraverso quello.
Come già accennato, puoi anche avere una percentuale di clic/dati in cui hai una sorta di saggezza di Algoritmo della folla e modifichi la pertinenza in base a ciò. È un'ottima soluzione, ma attira lo spamming. Pertanto, per risolvere il problema di pertinenza, deve essere associato a una metrica come NDCG/MAP ecc.
Posso fornire maggiori dettagli su questo se hai ancora bisogno di sapere di più su come tutto il materiale messo insieme funzionerebbe nel tuo caso di studio.