Inserimento delle prestazioni con e senza indice

Question

Stava facendo un paio di test.

Sulla base di alcuni ottimi suggerimenti di Wes, ecc., Ho ottimizzato alcune delle proprietà neo4j senza cache per fare inserimenti su larga scala in un ambiente con multithreading e le prestazioni non sono male.

Tuttavia, quando introduco l'indice (sui nodi), le prestazioni si riducono notevolmente. La differenza è facilmente 5 volte. Ci sono impostazioni di configurazione per renderlo migliore?

Grazie in anticipo,

Sachin

Neo4j versione - 1.8.1; JVM - 1.6

Answer 1

L'inserimento di nodi (o relazioni) in un indice di Lucene è costoso. Lucene è uno strumento potente ma complesso, progettato per la ricerca di testo completo/parola chiave. Rispetto al semplice database, è piuttosto lento.

Questo è il motivo per la maggior parte degli strumenti di inserimento di massa fanno l'indicizzazione in modo asincrono, come il lotto di inserimento di Michael:

http://jexp.de/blog/2012/10/parallel-batch-inserter-with-neo4j/

Alcune transazioni anche aggirare, o scrivere i file di archivio direttamente:

http://blog.xebia.com/2012/11/13/combining-neo4j-and-hadoop-part-i/

Per migliorare le prestazioni, l'utilizzo di un disco SSD può essere d'aiuto. Ma poiché Neo4j è un database transazionale completamente ACID e l'indice Lucene è strettamente associato alle transazioni (che è una buona cosa), non c'è molto altro che si possa fare oltre a ottimizzare l'infrastruttura per ottenere le migliori prestazioni di scrittura.

Answer 2

Solo nel caso questa risposta aggiuntiva è ancora d'uso per chi esegue Neo4j su un file system ext4 sotto Linux:

Commerciando qualche sicurezza delle transazioni (trascurabile sulla/Sistemi di USV batteria tampone o laptop), le prestazioni di scrittura può essere aumentato di un fattore di 10-15!

Per saperne di più in questo recente post sul blog: http://structr.org/blog/neo4j-performance-on-ext4