开发者社区> 鱼跟猫> 正文

E-MapReduce上如何升级EMR-Core

简介: 本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化中。
+关注继续查看

本文档将介绍如何将老集群的EMR-Core升级到最新版本

什么是EMR-Core

EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化。所以,随着E-MapReduce版本的迭代,我们就有必要升级老集群上的EMR-Core以获得更好的性能,当然也包括修复很多BUG。

使用说明

升级工具下载地址

注意:

    1. 本工具暂时只支持EMR-3.x系列,即支持EMR-3.0.0以上版本升级到最新EMR-Core。EMR-2.x系列的工具近期也会上线。
    1. 本工具在升级过程中需要重启相关服务,切记判断服务重启风险,选在升级窗口停服进行升级。需要重启的服务包括Yarn和Hive。
1. SSH 登录到集群emr-header-1节点
2. 切换到hadoop账户下:su hadoop; cd
3. 下载升级工具包:wget http://emr-agent-pack.oss-cn-hangzhou.aliyuncs.com/upgrade/upgrade.tgz
4. 解压: tar zxvf upgrade.tgz
5. 开始升级,由于EMR集群分为HA和非HA集群两种,所以在执行脚本时需要传入集群类型参数,接受“ha”和“normal”两个参数,例如./upgrade.sh normal
6. 等待脚本执行完,检查相关服务是否正常,包括YARN和Hive服务

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spark on k8s 在阿里云 EMR 的优化实践
本文整理自阿里云技术专家范佚伦在7月17日阿里云数据湖技术专场交流会的分享。
440 0
EMR StarRocks 测试指南
日前,阿里云 E-MapReduce 与 StarRocks 社区合作,推出了首款 StarRocks 云上产品。同时,面向新老用户提供了99元指定机型(ecs.c6.xlarge)首月试用的优惠活动,欢迎感兴趣的用户前来测试。
2139 0
E-MapReduce(简称“EMR”)
E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。
401 0
在文件存储HDFS版上使用 Apache Flink
本文档主要介绍如何在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Flink。
144 0
【阿里云EMR实战篇】以EMR测试集群版本为例,详解 Flink SQL Client 集成 Hive 使用步骤
以测试集群版本为例(EMR-4.4.1)—— Flink SQL Client 集成 Hive 使用文档
576 0
EMR 升级Hadoop 2.8.5
信息摘要: EMR 提供Hadoop 2.8.5,方便开发者使用新版Hadoop功能。适用客户: 所有客户版本/规格功能: EMR-3.18.0及以后版本,Hadoop升级为2.8.5,开发者可以方便地使用新版Hadoop的功能。
626 0
EMR 最新版 EMR-3.22.0 发布
信息摘要: EMR 升级到 EMR-3.22.0,包含多项重大更新及新增组件。适用客户: 所有客户版本/规格功能: EMR-3.22.0 发布多项重大更新,新增包括 Kudu、OpenLDAP,Spark新增支持 delta datasource。
1229 0
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
DataX-On-Hadoop即使用hadoop的任务调度器,将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到ODPS、RDS等,不需要用户提前安装和部署DataX软件包,也不需要另外为DataX准备执行集群。
9491 0
+关注
鱼跟猫
开源计算爱好者
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
零基础实现hadoop 迁移 MaxCompute 之 数据
立即下载
自建Hadoop数据如何托管到MaxCompute
立即下载
自建Hadoop数据如何托管到MaxCompute
立即下载