Come implementeresti twitter usando un tipo di DB noSQL?

Question

Sembra implementazione web-app come Twitter/facebook-parete ha bisogno di 1 enorme "feed" tabella relazionale (+ una tabella utente) e di un meccanismo di caching impressionante .. (si può raccomandare uno?)

mio principale la domanda è, come implementeresti una tale "caratteristica" usando un DB non relazionale, ad es un tipo di chiave/valore di DB?

Ovviamente, ho dovuto piace per supportare il numero di utenti che utilizzano Twitter in concomitanza e in generale.

Grazie

Answer 1

Si può leggere come Twitter lo ha fatto qui: http://highscalability.com/blog/2010/2/19/twitters-plan-to-analyze-100-billion-tweets.html

leggere anche questo: http://highscalability.com/scaling-twitter-making-twitter-10000-percent-faster

Nessun modello di dati, ma un bel po 'di informazioni su come;)

Answer 2

Ovviamente, ho voluto supportare la quantità di utenti utilizzando twitter contemporaneamente e in generale.

Siamo spiacenti ma questo requisito è lontano dall'essere realistico. Twitter ha una enorme server farm per condividere i dati per supportare la loro massiccia concorrenza, hai tanti server come Twitter?

C'è un'idea di architettura l'attuazione di un clone di Twitter con Redis: TwitterAlikeExample

Answer 3

Dai un'occhiata alla Kestrel, il sistema di coda di messaggi che Twitter utilizza

http://github.com/robey/kestrel

http://www.google.com/search?q=kestrel+twitter

Answer 4

I 'd uso Redis. Coda di chiavi per utente + set di blob recuperati da queste chiavi.

Answer 5

Lancio MongoDB nell'elenco.

Lo schema sarà piuttosto semplice.

TWEETS
nome utente (o un ID utente, se vuole normalizzare un po ')
TweetID (un numero unico)
Timestamp
Tweet (testo Tweet)

UTENTE
UserID (opzionale) Nome utente
Nome, Email, Informazioni personali (URL web, ecc.) Password (cancelletto)
Follower (rif. Utente ripetuto)
seguito (ripetendo ref utente)

Answer 6

Recentemente ho scritto un'implementazione minima dello strato Twitter dati utilizzando HBase. Se sei interessato puoi dare un'occhiata al succo: https://gist.github.com/1101316. Il primo file CreateTwitterTable.java ha il codice per creare le tabelle hbase e le relative famiglie di colonne correlate. Il secondo file TwitterClient.java ha il codice per le funzioni di base come getTimeline, addTweet, deleteTweet, followUser, unfollowUser e addUser.