SQLite: ricerca della sottostringa efficiente in una tabella di grandi dimensioni

Question

Sto sviluppando un'applicazione Android che deve eseguire la ricerca di sottostringa in una tabella di grandi dimensioni (circa 500'000 voci con nomi di strade e località, quindi solo poche parole per voce).

CREATE TABLE Elements (elementID INTEGER, type INTEGER, name TEXT, data BLOB) 

Si noti che solo il 20% di tutte le voci contiene stringhe nella colonna "nome".

Esecuzione seguente query richiede quasi 2 minuti:

SELECT elementID, name FROM Elements WHERE name LIKE %foo% 

ora cercato di utilizzare FTS3 al fine di accelerare la query. Ciò ha avuto un discreto successo, il tempo di interrogazione è sceso a 1 minuto (sorprendentemente le dimensioni del file del database sono aumentate solo del 5%, che è anche abbastanza buono per il mio scopo).

Il problema è, FTS3 apparentemente non supporta la ricerca sottostringa, vale a dire se voglio trovare "bar" in "foo bar" e "foobar", ho solo "foo bar", anche se ho bisogno di entrambi i risultati.

Quindi, in realtà ho due domande:

1. è possibile accelerare ulteriormente la query? Il mio obiettivo è di 30 secondi per la query, ma non so se sia realistico ...

2. Come posso ottenere una ricerca di sottostringa reale utilizzando FTS3?

Answer 1

Soluzione 1: Se si può fare ogni personaggio nel database come una singola parola, è possibile utilizzare phrase queries per cercare la sottostringa.

Ad esempio, si supponga "my_table" contiene una singola colonna "persona":

person 
------ 
John Doe 
Jane Doe 

si può cambiare a

person 
------ 
J o h n D o e 
J a n e D o e 

Per cercare la stringa "ohn", usi la frase frase:

SELECT * FROM my_table WHERE person MATCH '"o h n"' 

Attenzione che "JohnD" corrisponderà a "John Doe", che potrebbe non essere desiderato. Per risolvere il problema, cambia il carattere dello spazio nella stringa originale in qualcos'altro.

Ad esempio, è possibile sostituire il carattere di spazio con "$":

person 
------ 
J o h n $ D o e 
J a n e $ D o e 

Soluzione 2: Seguendo l'idea di una soluzione 1, è possibile effettuare ogni personaggio come una singola parola con un costume tokenizer e utilizzare le query a frase per eseguire query sulle sottostringhe.

Il vantaggio rispetto soluzione 1 è che non c'è bisogno di aggiungere spazi nei dati, che può aumentare inutilmente la dimensione del database.

Lo svantaggio è che è necessario implementare il tokenizzatore personalizzato. Fortunatamente, ho one ready for you. Il codice è in C, quindi devi capire come integrarlo con il tuo codice Java.

Answer 2

non sono sicuro di accelerarlo dal momento che si sta utilizzando SqlLite, ma per sottostringa ricerche, ho fatto le cose come

SET @foo_bar = 'foo bar' 
SELECT * FROM table WHERE name LIKE '%' + REPLACE(@foo_bar, ' ', '%') + '%' 

Naturalmente questo soltanto i ritorni record che contengono la parola "pippo" prima della parola "bar".

Answer 3

È necessario aggiungere un indice alla colonna name nel database, che dovrebbe velocizzare notevolmente la query.

Credo SQLite3 supporta sub-stringa corrispondente in questo modo:

SELECT * FROM Elements WHERE name MATCH '*foo*'; 

http://www.sqlite.org/fts3.html#section_3

Answer 4

sto affrontando qualche cosa simile al vostro problema. Ecco il mio suggerimento prova a creare una tabella di traduzione che tradurrà tutte le parole in numeri. Quindi cerca i numeri invece delle parole.

Per favore fatemi sapere se questo sta aiutando.