用集群脚本功能安装大象医生优化你的大数据作业-阿里云开发者社区

开发者社区> 阿里云EMR> 正文

用集群脚本功能安装大象医生优化你的大数据作业

简介:

dr-elephant是linkedin开源的大数据作业诊断优化工具,可以读取作业的日志信息,给出可视化的问题诊断和优化建议。

本文介绍如何在emr集群上安装大象医生,并提供一个优化hive参数的完整示例。大象诊断的详情文档可以看官方文档,后续本博客也会发表一些使用经验。
注意:目前大象医生还不支持spark2,社区正在开发,敬请期待。

安装大象医生

集群脚本功能介绍

参照 集群脚本功能介绍

准备脚本

下载 脚本,放在您的oss合适的目录里。

运行脚本

本文用的示例集群是EMR3.4.2版本,3节点,4核16GB的默认配置。

  1. 集群列表页面点击对应集群的管理按钮
  2. 左侧菜单单击集群脚本,进入该集群的集群脚本执行界面
  3. 单击右上角创建并执行,进入创建界面。
  4. 选择刚才的脚本,设置名字,节点请只选择master节点,ha集群选择集群详情中第一个master节点,点击确认,完成添加并执行操作。
  5. 集群脚本列表可以看到新创建的集群脚本,点击刷新可以更新集群脚本的状态。
  6. 等待集群脚本完成
  7. 安装完成后,可以在master节点的/root/dr-elephant-2.0.13/logs/application.log看到Listening for HTTP on /0.0.0.0:8098说明启动成功,按照文档用端口动态转发功能打开UI,服务端口是8098。
    本示例用

ssh -i /path/id_rsa -N -L 8158:ip:8098 root@ip,
本地浏览器打开http://localhost:8158/,可以看到:
image

运行作业并优化

运行示例程序

使用交互式工作台的的hivedemo,依次运行,直到下面的语句运行结束。
image

查看运行诊断

等待几分钟,可以在大象诊断的UI上看到刚才hive作业的诊断
image
有个reducer Memory的颜色不是绿色,点击查看,可以看到是分配的reduce内存多,而实际用的少
image
点击explain,可以看到解释和优化建议
image

优化作业

根据优化建议,我们调整一下作业内容,set mapreduce.reduce.memory.mb=600;,新建一张表,
image
等待几分钟,可以看到这次诊断没有
相应提示了。
image
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接