come caricare un argomento di Kafka su HDFS?

Question

Sto usando la sandbox hortonworks.
creando argomento:

./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew 

tailing l'accesso apache directory di registro:

tail -f /var/log/httpd/access_log |./kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew 

In un altro terminale (di Kafka bin) avviare consumatore:

./kafka-console-consumer.sh --zookeeper 10.25.3.207:2181 --topic lognew --from-beginning 

L'apa che i registri di accesso vengono inviati all'argomento kafka "nuovo registro".

Ho bisogno di memorizzarli su HDFS.
Qualsiasi idea o suggerimento su come farlo.

Grazie in anticipo.
Deepthy

Answer 1

usiamo camus.

Camus is a simple MapReduce job developed by LinkedIn to load data from Kafka into HDFS. It is capable of incrementally copying data from Kafka into HDFS such that every run of the MapReduce job picks up where the previous run left off. At LinkedIn, Camus is used to load billions of messages per day from Kafka into HDFS.

ma sembra come se fosse sostituito con gobblin

Gobblin is a universal data ingestion framework for extracting, transforming, and loading large volume of data from a variety of data sources, e.g., databases, rest APIs, FTP/SFTP servers, filers, etc., onto Hadoop. Gobblin handles the common routine tasks required for all data ingestion ETLs, including job/task scheduling, task partitioning, error handling, state management, data quality checking, data publishing, etc. Gobblin ingests data from different data sources in the same execution framework, and manages metadata of different sources all in one place. This, combined with other features such as auto scalability, fault tolerance, data quality assurance, extensibility, and the ability of handling data model evolution, makes Gobblin an easy-to-use, self-serving, and efficient data ingestion framework.

Answer 2

Sono disponibili diverse altre opzioni:

• Usa Apache Flume per leggere i messaggi di Kafka e di scrivere ai vostri HDFS . Ci sono diversi esempi su come puoi configurarlo, ma uno article from Cloudera copre abbastanza bene quell'argomento. Hanno anche chiamato la soluzione Flafka;)
• Utilizzare Kafka HDFS Connector, che è abbastanza semplice da configurare. Tuttavia, richiederebbe Confluent Kafka (che è ancora open source).

Abbiamo testato entrambi con esito positivo.