Vale la pena provare MonetDB?

Question

Qualcuno ha avuto esperienza con MonetDB? Attualmente, ho un database MySQL che sta diventando troppo grande e le query stanno diventando troppo lente. Secondo il paradigma orientato alle colonne, le inserzioni saranno più lente (cosa che non mi dispiace affatto), ma il recupero dei dati diventa molto veloce. Ho la possibilità di ottenere più prestazioni di recupero dei dati semplicemente passando a MonetDB? MonetDB è abbastanza maturo?

Answer 1

Hai la possibilità di migliorare le prestazioni della tua applicazione. Il guadagno, tuttavia, dipende in gran parte dal carico di lavoro, dalle dimensioni del database e dall'hardware. MonetDB è sviluppato/messo a punto sotto due ipotesi principali:

1. Il tuo carico di lavoro è analitico, cioè hai un sacco di aggregazioni (raggruppate) e simili.
2. Ancora più importante: il set di dati hot (i dati con cui lavori effettivamente) si inserisce nella memoria principale del tuo sistema. MonetDB non ha il proprio Buffer Manager ma si affida al sistema operativo per gestire l'I/O del disco. Poiché il sistema operativo (in particolare Windows ma anche Linux) è a volte molto stupido riguardo allo scambio di dischi che può diventare un problema (specialmente per i join che esauriscono la memoria).

Per quanto riguarda la maturità, ci sono probabilmente più opinioni su questo rispetto alle persone che abitano questo pianeta. Personalmente, lo trovo abbastanza maturo, ma sono un membro del team di sviluppo e, quindi, di parte. Ma MonetDB è un progetto di ricerca, quindi se hai un'applicazione interessante ci piacerebbe sentirne parlare e vedere se possiamo aiutarti.

Answer 2

La risposta ovviamente dipende dal carico utile ma la mia esperienza fino ad ora sembrerebbe indicare che su MonetDB tutto è più veloce di quanto abbia visto in MySQL. L'eccezione sarebbe l'unione, che non solo sembra lenta, ma sembra completamente inetta al pipelining, quindi finisci per aver bisogno di sprazzi di memoria per elaborare quelli grandi. Detto questo, la mia esperienza con i join in MySQL non è stata esattamente stellare, quindi suppongo che le tue aspettative possano essere basse. Se vuoi davvero una buona performance di join, probabilmente raccomanderei SQL Server o qualcosa di simile; per quelle altre domande che hai citato nei commenti di follow-up, MonetDB dovrebbe essere fantastico.

Ad esempio, data una tabella con circa 2 milioni di righe, è stato possibile eseguire l'intervallo su una colonna (dove c'erano circa 800K righe nell'intervallo) e ordinare da un'altra colonna e il risultato limitato è stato elaborato e restituito in 25ms. Le prestazioni di questo tipo di query sembrano peggiorare con la scala, ma questo dovrebbe darti un assaggio di ciò che potresti aspettarti a quella scala.

Devo mettere in guardia sul fatto che l'ottimistico modello di concorrenza potrebbe eliminare quelli che sono stati esposti solo a concorrenza pessimistica (la maggior parte delle persone). Lo farei prima di chiedermi perché alcuni dei tuoi commit falliscono sotto carico simultaneo.