Uso di Storm in Cloudera

Question

Ho cercato di utilizzare Storm che è disponibile con l'installazione di Hortonworks 2.1 ma per evitare l'installazione di Hortonworks oltre a un'installazione di Cloudera (che contiene Spark), ho cercato di trovare un modo per utilizzare Tempesta in Cloudera.

Se è possibile utilizzare sia Storm che Spark su una singola piattaforma, questo salverà le risorse aggiuntive necessarie per avere installazioni sia su Cloudera che su Hortonworks su una macchina.

Answer 1

È possibile utilizzare tempesta con l'installazione di Cloudera. Dovrai installarlo da solo e mantenerlo come tale. Non farà parte dello stack Cloudera ma ciò non dovrebbe impedirti di usarlo insieme a Hadoop se ne hai bisogno.

Answer 2

È possibile utilizzare Storm accanto a Cloudera.

Answer 3

Tutte le precedenti sono vere, ma perché dovresti?

Spark include Spark Streaming, che consente di gestire i carichi di lavoro di elaborazione dei dati e di elaborazione degli stream/eventi utilizzando un'unica API. Spark/Streaming è già all'interno di CDH.

Quindi, perché caricarsi di due API diverse?

Answer 4

È possibile utilizzare Storm su qualsiasi piattaforma del fornitore. Tuttavia, la gestione dei cluster di tempesta è qualcosa che devi considerare. Storm non fa parte della distribuzione CDH. Cloudera Manager non gestisce il ciclo di vita dei servizi e delle configurazioni di tempesta, né monitora il cluster di tempesta, a meno che non sia disposto a scrivere autonomamente un'estensione Clouderea Manager. Al contrario, se si sceglie un fornitore come HDP, lo strumento di gestione di Ambari su HDP fornisce tutte le funzioni di gestione di cui sopra.

Se si dispone di un progetto di streaming su CDH, si consiglia vivamente di prendere in considerazione prima Apache Spark, in quanto fornisce lo stesso modello di programmazione per l'elaborazione in batch e in streaming. Non è necessario imparare una nuova API. Tuttavia, lo streaming di Apache Spark è micro-batch. Pertanto, in casi d'uso che richiedono un'elaborazione in tempo reale a bassa latenza sub-seconda, Storm è più adatto.

Answer 5

È possibile installare Apache Storm su Cloudera VM. per una corsa di installazione e di test di base, seguire sotto il collegamento:

https://github.com/vrmorusu/StormOnClouderaVM/wiki/Apache-Storm-on-Cloudera-VM

Questo dovrebbe iniziare sullo sviluppo di applicazioni di tempesta su Cloudera VM.