开发者社区> 问答> 正文
0
0
分享

E-MapReduceKafka 使用说明是什么?


从EMR-3.4.0版本开始将支持Kafka服务。

创建Kafka集群


在E-MapReduce控制台创建集群时,选择集群类型为Kafka,则会创建一个默认只包含Kafka组件的集群,除了基础组件外包括Zookeeper,Kafka和KafkaManager三个组件。每个节点将只部署一个Kafka broker。我们建议您的Kafka集群是一个专用集群,不要和Hadoop相关服务混部在一起。

跨集群访问Kakfa


通常,我们会单独部署一个Kafka集群来提供服务,所以经常需要跨集群访问Kafka服务。这时,我们需要在机器上配置Kafka集群节点的host信息。注意,这里我们需要在client端机器配置Kafka集群节点的[backcolor=transparent]长域名,否则会出现访问不到Kafka服务的问题。示例如下:

  1. [backcolor=transparent][backcolor=transparent]etc[backcolor=transparent]/[backcolor=transparent]hosts
  2. [backcolor=transparent]# kafka cluster
  3. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.23[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]header[backcolor=transparent]-[backcolor=transparent]1.cluster[backcolor=transparent]-[backcolor=transparent]48742
  4. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.24[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]worker[backcolor=transparent]-[backcolor=transparent]1.cluster[backcolor=transparent]-[backcolor=transparent]48742
  5. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.25[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]worker[backcolor=transparent]-[backcolor=transparent]2.cluster[backcolor=transparent]-[backcolor=transparent]48742
  6. [backcolor=transparent]10.0[backcolor=transparent].[backcolor=transparent]1.26[backcolor=transparent] emr[backcolor=transparent]-[backcolor=transparent]worker[backcolor=transparent]-[backcolor=transparent]3.cluster[backcolor=transparent]-[backcolor=transparent]48742


参数说明


您可以在E-MapReduce的集群配置管理中查看Kafka的软件配置,当前主要有:
配置项说明
zookeeper.connectKafka配置的Zookeeper连接地址
kafka.heap.optsKafka broker的堆内存大小
num.io.threadsKafka broker的IO线程数,默认为机器CPU核数目的2倍
num.network.threadsKafka broker的网络线程数,默认为机器的CPU核数目

展开
收起
nicenelly 2017-10-27 15:46:50 1836 0
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
服务治理 MSE Sentinel/OpenSergo
Agent数量 不受限
额度30个日内有效
云原生网关 MSE Higress
422元/月
额度3个月内有效
EMR Serverless StarRocks
5000CU*H 48000GB*H
额度3个月内有效
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
JCLI使用说明文档 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等