如何在E-MapReduce上使用引导操作安装kafka组件-阿里云开发者社区

开发者社区> 阿里云EMR> 正文
登录阅读全文

如何在E-MapReduce上使用引导操作安装kafka组件

简介: 当前emr最新版本2.1.1没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

1. 什么是引导操作

关于E-MapReduce上引导操作的概念和使用方式请参考文档

2. 编写安装Kafka组件的脚本

在E-MapReduce中编写安装Kafka组件脚本主要有以下几步:

  1. 下载Kafka-0.10.0.0安装包
  2. 修改Kafka配置文件
  3. 创建Kafka Log目录
  4. 启动Kafka daemon进程

以下是安装Kafka组件的脚本简单示例:

#!/bin/bash
isMaster=`hostname --fqdn | grep emr-header`

if [ -n "$isMaster" ] ;then
    echo "Master Node does not need to start kafka!"
else
    echo "=> Download kafka package"
    wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/kafka/0-10-0-0/kafka_2.10-0.10.0.0.tgz
    tar xvf ./kafka_2.10-0.10.0.0.tgz -C /opt/apps/

    echo "=> Modify Kafka Configuration"
    echo "===> Replace broker id"
    WORKER_ID=`hostname | cut -d '-' -f 3 | cut -d '.' -f 1`
    sed -i "s/broker_id/$WORKER_ID/g" /opt/apps/kafka_2.10-0.10.0.0/config/server.properties
        
    echo "===> Replace zookeeper address"
    ZK_ADDR="emr-header-1:2181,emr-header-2:2181,emr-header-3:2181\/kafka-0.10.0.0"
    sed -i "s/zookeeper_address/$ZK_ADDR/g" /opt/apps/kafka_2.10-0.10.0.0/config/server.properties

    echo "===> Create kafka log dir"
    mkdir -p "/mnt/disk1/log/kafka-0.10.0.0"
    mkdir -p "/mnt/disk2/log/kafka-0.10.0.0"
    mkdir -p "/mnt/disk3/log/kafka-0.10.0.0"
    mkdir -p "/mnt/disk4/log/kafka-0.10.0.0"

    echo "===> Replace log dirs"
    KAFKA_LOG_DIR_STRING="\/mnt\/disk1\/log\/kafka-0.10.0.0,\/mnt\/disk2\/log\/kafka-0.10.0.0,\/mnt\/disk3\/log\/kafka-0.10.0.0,\/mnt\/disk4\/log\/kafka-0.10.0.0"
    sed -i "s/log_dirs/$KAFKA_LOG_DIR_STRING/g" /opt/apps/kafka_2.10-0.10.0.0/config/server.properties

    echo "===> Replace listeners"
    WORKER_HOSTNAME=`hostname`
    echo "listeners=PLAINTEXT://$WORKER_HOSTNAME:9092" >> /opt/apps/kafka_2.10-0.10.0.0/config/server.properties

    echo "===> Replace advertised listeners"
    echo "advertised.listeners=PLAINTEXT://$WORKER_HOSTNAME:9092" >> /opt/apps/kafka_2.10-0.10.0.0/config/server.properties

    echo "=> Start kafka daemon"
    /opt/apps/kafka_2.10-0.10.0.0/bin/kafka-server-start.sh -daemon /opt/apps/kafka_2.10-0.10.0.0/config/server.properties &
     
    echo "=> Clean" 
    rm -f ./kafka_2.10-0.10.0.0.tgz
fi 

上述脚本可以直接使用,安装的软件也是由E-MapReduce提供的。当然你可以基于这个脚本再修改,也可以使用自己的Kafka安装包,安装任意版本。

另外需要注意的是,这个脚本中只修改了几个必要的参数,自定义的调优参数需要你额外补充到脚本中,或者直接在安装包里预先修改好。

上传脚本

将上面的脚本上传到你自己的OSS中,可以通过OSS控制台上传,这里我们命名这个脚本为install_kafka.sh(任意你喜欢的名字都可以)。

安装

参照帮助文档,创建集群时点击添加引导操作,分别选择刚才上传的install_kafka.sh脚本,创建1个引导操作步骤。集群创建好后,通过集群详情页的引导/软件配置:无异常来确定引导操作执行成功

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接