Impaginazione lenta su tonnellate di record in mongodb

Question

Ho più di 300k record in una raccolta in Mongo.

Quando ho eseguito questo semplice query:

db.myCollection.find().limit(5); 

e bastano pochi millisecondi.

Ma quando uso saltare nella query:

db.myCollection.find().skip(200000).limit(5) 

Non restituirà nulla ... Si corre per i minuti e non restituisce nulla.

Come migliorare?

Answer 1

Da MongoDB documentation:

Costi Paging

Purtroppo saltare può essere (molto) costoso e richiede il server di camminare a partire dall'inizio della raccolta, o indice, per arrivare al offset/saltare la posizione prima di poter iniziare a restituire la pagina di dati (limite). Man mano che il numero di pagina aumenta, il salto diventerà più lento e più intensivo in cpu, e possibilmente vincolato all'IO, con raccolte più grandi.

Il paging basato sull'intervallo fornisce un uso migliore degli indici ma non consente di passare facilmente a una pagina specifica.

Devi farti una domanda: quanto spesso hai bisogno di 40000 ° pagina? Vedi anche articolo this;

Answer 2

Un approccio a questo problema, se si dispone di grandi quantità di documenti e li stanno visualizzando a ordinato ordine (non sono sicuro di quanto sia utile skip è se non sei) sarebbe quella di utilizzare la chiave Stai ordinando per selezionare la pagina successiva dei risultati.

Quindi, se si inizia con

db.myCollection.find().limit(100).sort({created_date:true}); 

e poi estrarre la data di creazione dell'ultimo documento restituita dal cursore in una variabile max_created_date_from_last_result, è possibile ottenere la pagina successiva con il molto più efficiente (presumendo hai un indice su created_date) query