Apache Zookeeper: distribuzione di nodi tra i data center

Question

Sto lavorando su un nuovo SolrCloud - infrastrutture ZooKeeper.

Alcune informazioni di base:

• tutti gli altri servizi (per lo più web infrastruttura del sito) sono distribuite in tutta due data center, con configurazioni active-active.
• a livello di rete, i server sono configurati su LAN estese, con fibra scura nei data center. Quindi la latenza è minima.
• l'infrastruttura SolrCloud - ZooKeeper verrà utilizzata dalla maggior parte di queste applicazioni.

Ho ottenuto un Solr Cloud e un insieme di ZooKeeper in esecuzione. L'implementazione a questo livello va bene.

ma mi chiedo come distribuire i miei assistenti Zookeeper. Devo avere un numero dispari di server, ma ho solo 2 data center. Se uno fallisce, ho una probabilità del 50% che perderò la maggioranza.

Qualche idea? Finora ho pensato: (! Non è probabile che accada, $$$)

• richiedere una terza data center

• ospite 2 per data center e 1 su un fornitore di cloud esterna (Amazon o ...?). $$$

• impostare un numero dispari nel data center 1 e utilizzare un osservatore sul sito 2. Che cosa succede se il sito 1 non funziona? SolrCloud può funzionare solo con un osservatore?

Grazie per ogni idea e commenti.

Nic

Answer 1

Molto tempo fa, ma ancora, lascia condividere ciò che ho fatto.

ho ottenuto un terzo sito per ospitare l'altra istanza ZooKeeper. Questo sito è un altro ufficio della mia azienda, non un "Full DC". Quindi ogni sito ha 1 ZK.

Quello che mi ha permesso di avere diffuso un cluster oltre 3 DC è che sono abbastanza vicini insieme per ottenere una fibra spenta tra di loro. La latenza è molto bassa e non influisce sulle prestazioni ZK.

Poi per SOLR, ho avuto piena repliche sui due CC principale. Il terzo ufficio ospita solo uno ZK per il quorum. Usando le repliche complete, ho tutti i dati in ogni CD. Se il mio SOLR ha bisogno di aumentare più tardi, lo farò, ma per ora il nostro indice è piccolo.

si è dimostrato solido per 4 anni a questa parte, con 1 fallimento. Ed era al 3 ° ufficio, non in una DC.

Answer 2

Se la vostra esigenza è quella di servire tutte le richieste di ricerca dal data center locale (in cui era richiesta l'origine), allora non avete bisogno di andare per il cross distribuzione dc zk. Causa croce dc distribuzione ZK solo necessario per sopravvivere incidente DC (molto probabilmente non accadrà, ed è per questo si paga $$$$) quindi in questo caso non c'è bisogno di creare sotto grappolo ZK in molteplici DC