Come scalare con esper?

Ho guardato Esper (e Storm) per l'elaborazione del flusso .. Esper sembra fare esattamente quello che voglio ... vale a dire roling, mediane, query complesse, ecc ... ma una cosa mi chiede.Come scalare con esper?

Come si ridimensiona su più istanze con Esper?

Per quanto ho capito, Storm gestisce l'elaborazione distribuita, ma con Esper sei da solo.

Non avrei bisogno di farlo per il futuro futuro, ma man mano che cresciamo, anche i nostri volumi di dati dovrebbero essere scalati. Molto probabilmente saremmo schierati su Amazon EC2.

Devo eseguire più server e dati shard prima di inviarli alla mia applicazione Esper?

Esiste un modo più agevole di gestirlo?

-Sajal

fonte

2012-02-06 sajal

È possibile eseguire un'istanza Esper all'interno di un bullone, il che significa che Tempesta gestirà tuple/federazione evento, e Esper gestirà il CEP sugli eventi che riceve in un dato bullone.

Questo ha un codice e le informazioni su come integrare Esper in un bullone tempesta: http://tomdzk.wordpress.com/2011/09/28/storm-esper/

Tuttavia ... È necessario disporre di un caso d'uso che supporta relativamente apolidi motori Esper movimentazione un sottoinsieme di dati.

Ad esempio: si calcola la temperatura media giornaliera per città. Se non distribuisci le tue tuple usando shuffleGrouping in base al campo della città, ogni bullone Esper potrebbe avere un diverso set di dati per città.

Fondamentalmente, assicurarsi di leggere il modo in cui i dati vengono distribuiti in una topologia Storm prima di impegnarsi in questa architettura.

fonte

2012-03-19 19:50:57 cmonkey

Questo è un approccio interessante. Tuttavia, nel nostro caso, sembra che l'unica istanza di Esper possa andare bene per il futuro, dopo di che possiamo fare storm + esper, o possiamo farlo manualmente. Utilizzando il tuo esempio di temperatura, staremmo monitorando 10-15 città, ognuna delle quali otterrebbe una quantità di dati pari, e ogni città può essere elaborata completamente separatamente, e solo i riepiloghi saranno confrontati in seguito. – sajal

come so che la maggior parte della funzione esper è il contesto di base, in altre parole è stata pubblicata. come fare in modo che la tempesta invii la giusta tupla alla vite esper esperta? –

Dalla tua domanda, sembra che EsperHA sia pertinente? Hai guardato a quello?

EsperHA è una soluzione completa per il valore zero inattività ESP/CEP evento elaborazione. Combina Esper con cache locale in memoria, resiliente overflow su disco o database e configurazione cluster con funzionalità di backup hot .

fonte

2012-03-29 20:41:23

Sembra che EsperHA si occupi solo della replica, non della distribuzione. La mia domanda riguarda specificamente la distribuzione del carico su più istanze. Non sto chiedendo di disponibilità. – sajal

Sono a conoscenza di EsperHA, ma non l'ho usato. Sembra essere un prodotto a pagamento, e il nostro negozio stava esplorando solo opzioni gratuite. – cmonkey

Come scalare con esper?

risposta

Problemi correlati