GlusterFS come backend per Hadoop

Question

Ho visto redhat trovare una possibile soluzione con GlusterFS che funziona come backend per hadoop. In questo caso, puoi utilizzare l'architettura namenode/datanode e sostituirla con glusterfs, mentre nel frattempo hai ancora la compatibilità con API di Hadoop Mapreduce.

Basta chiedersi come si confronta il rendimento con l'HDFS nativo? È davvero pronto per la produzione? Supporta anche tutto l'ecosistema hadoop? per esempio. Solr Cloud, Spark, Impala ecc. Ecc.

Answer 1

disclaimer: Lavoro per il fornitore di soluzioni di archiviazione. Bene. Non so molto di GlusterFS in particolare, ma posso parlare di Lustre dato che è POSIX alla fine della giornata. È un filesystem parallelo, ma i benchmark che ho esaminato di recente hanno dimostrato che supera l'HDFS. ma è sicuramente un'alternativa pronta per la produzione che offre un singolo spazio per i tuoi dati (non più ingestione HDFS)

Cosa funziona oggi dall'ecosistema Hadoop? quello che ho visto nella produzione di oggi è Spark, Hive, Hbase. Imapala mi sembra che richieda alcune parti di HDFS, questo è il motivo per cui non funziona con POSIX FS e non è HCFS. Ho fatto un test rapido e sono stato in grado di creare il database e tutto, ma non ero in grado di recuperare alcuna riga.

Lasciami se hai bisogno di ulteriore aiuto.