E-MapReduceKafka 使用说明是什么?
从EMR-3.4.0版本开始将支持Kafka服务。
创建Kafka集群
在E-MapReduce控制台创建集群时，选择集群类型为Kafka，则会创建一个默认只包含Kafka组件的集群，除了基础组件外包括Zookeeper，Kafka和KafkaManager三个组件。每个节点将只部署一个Kafkabroker。我们建议您的Kafka集群是一个专用集群，不要和Hadoop相关服务混部在一起。
跨集群访问Kakfa
通常，我们会单独部署一个Kafka集群来提供服务，所以经常需要跨集群访问Kafka服务。这时，我们需要在机器上配置Kafka集群节点的host信息。注意，这里我们需要在client端机器配置Kafka集群节点的
长域名，否则会出现访问不到Kafka服务的问题。示例如下：
- ／etc/hosts
- # kafka cluster
- 10.0.1.23 emr-header-1.cluster-48742
- 10.0.1.24 emr-worker-1.cluster-48742
- 10.0.1.25 emr-worker-2.cluster-48742
- 10.0.1.26 emr-worker-3.cluster-48742
参数说明
您可以在E-MapReduce的集群配置管理中查看Kafka的软件配置，当前主要有：
| 配置项 | 说明 |
| zookeeper.connect | Kafka配置的Zookeeper连接地址 |
| kafka.heap.opts | Kafka broker的堆内存大小 |
| num.io.threads | Kafka broker的IO线程数，默认为机器CPU核数目的2倍 |
| num.network.threads | Kafka broker的网络线程数，默认为机器的CPU核数目 |
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
