Ho bisogno di memorizzare circa 100 milioni di record nel database. Circa il 60-70% di essi verrà eliminato quotidianamente e la stessa quantità di record verrà inserita giornalmente. Sento che un database di documenti come Hbase, Big Table si adatterebbe a questo. Ci sono molti altri data store come Cassandra, MongoDb, ecc. Quale data store sarebbe utile per questo tipo di problema dato che ci sarà un'enorme quantità di letture/scritture (ordine di 10 milioni di milioni) al giorno.Il miglior data store per grandi quantità di dati con un elevato numero di letture e scritture
5
A
risposta
3
Sulla base delle caratteristiche che hai citato (JSON Documenti, accessi a chiave, 100 milioni di dischi, equilibrata lettura/scrittura) direi CouchDB o Membase sono buoni candidati (ecco una quick comparison)
Entrambi HBase e probabilmente anche Cassandra funziona, ma per l'HBase avresti bisogno di installare molti componenti (Hadoop, ZooKeeper, ecc.) che non utilizzerai veramente solo per usare e Cassandra è meglio quando hai più scritture che leggere (almeno l'ultima volta che l'ho usato).
Big Table, è purtroppo interna a Google:)
Problemi correlati
- 1. Python Socket riceve grandi quantità di dati
- 2. Come ordinare un array usando il numero minimo di scritture?
- 3. Schema a 3 livelli e grandi quantità di dati
- 4. Overflow larghezza dati per un numero elevato di colonne
- 5. Modo efficiente per analizzare grandi quantità di dati?
- 6. C++ - Contenitore efficiente per grandi quantità di dati ricercabili?
- 7. Le migliori pratiche per il servizio WCF con grandi quantità di dati?
- 8. WebSockets vs XHR per grandi quantità di dati
- 9. Memorizzazione di grandi quantità di dati: DB o File System?
- 10. Prestazioni Java con grandi quantità di RAM
- 11. Riproduzione JSON letture/scritture con classi case singolo parametro
- 12. Chunk e pipe grandi quantità di dati per la generazione di PDF del sito client (browser)
- 13. Riduci il numero di scritture xcode su riga di comando
- 14. Richiesta di memoria di grandi quantità di dati RDF
- 15. Concatena un numero elevato di file HDF5
- 16. Lotto elimina un numero elevato di file
- 17. Associare un numero elevato di dati a una casella combinata?
- 18. Caricamento di grandi quantità di dati in Postgres Hstore
- 19. Trasferimento di grandi quantità di dati nel servizio WCF
- 20. Qual è il miglior formato di tabella mysql per un carico di inserzione elevato?
- 21. Invio di grandi quantità di dati tra thread Qt
- 22. Java Swing Visualizzazione di grandi quantità di dati da ArrayLists
- 23. ASP.NET MVC: Restituzione di grandi quantità di dati da FileResult
- 24. Gestione di un numero elevato di ID in Solr
- 25. Spostamento di un numero elevato di file
- 26. Java volatile legge le scritture di svuotamento e fa letture di aggiornamento di scrittura volatile
- 27. Qual è il modo migliore per sincronizzare grandi quantità di dati in tutto il mondo?
- 28. Esportare grandi quantità di dati sul client in asp.net
- 29. Fornire il file XML per il download con un numero elevato di record in asp.net C#
- 30. Prestazioni di disegno WPF con un numero elevato di geometrie
Forse si voleva un confronto di efficienza. È possibile visualizzare ciascuna di queste prestazioni dei data-store sui propri siti Web. Usiamo Cassandra per situazioni simili, ma non ho giocato con altri datastore – Nishant
la natura dei tuoi dati probabilmente influisce anche su questo confronto di database – Prescott
un sacco di archivi dati in grado di gestire 100 milioni di record e questi tassi di lettura/eliminazione. Qual è la dimensione dei record? quali sono i tuoi pattern di accesso ai dati, ecc., scrivi rispetto ai rapporti di lettura ecc.? –