E-MapReduceKafka 使用说明是什么?

从EMR-3.4.0版本开始将支持Kafka服务。

创建Kafka集群


在E-MapReduce控制台创建集群时，选择集群类型为Kafka，则会创建一个默认只包含Kafka组件的集群，除了基础组件外包括Zookeeper，Kafka和KafkaManager三个组件。每个节点将只部署一个Kafka broker。我们建议您的Kafka集群是一个专用集群，不要和Hadoop相关服务混部在一起。

跨集群访问Kakfa


通常，我们会单独部署一个Kafka集群来提供服务，所以经常需要跨集群访问Kafka服务。这时，我们需要在机器上配置Kafka集群节点的host信息。注意，这里我们需要在client端机器配置Kafka集群节点的[backcolor=transparent]长域名，否则会出现访问不到Kafka服务的问题。示例如下：

1. [backcolor=transparent]／[backcolor=transparent]etc[backcolor=transparent]/[backcolor=transparent]hosts
3. [backcolor=transparent]# kafka cluster
4. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.23[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]header[backcolor=transparent]-[backcolor=transparent]1.cluster[backcolor=transparent]-[backcolor=transparent]48742
5. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.24[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]worker[backcolor=transparent]-[backcolor=transparent]1.cluster[backcolor=transparent]-[backcolor=transparent]48742
6. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.25[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]worker[backcolor=transparent]-[backcolor=transparent]2.cluster[backcolor=transparent]-[backcolor=transparent]48742
7. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.26[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]worker[backcolor=transparent]-[backcolor=transparent]3.cluster[backcolor=transparent]-[backcolor=transparent]48742