E-MapReduce集群脚本是什么?-问答-阿里云开发者社区-阿里云

开发者社区> nicenelly> 正文

E-MapReduce集群脚本是什么?

2017-10-30 13:52:21 1096 0


集群脚本的作用


集群,特别是包年包月集群,在使用过程中,可能会有新的安装第三方软件,修改集群运行环境的需求。集群脚本功能可以在集群创建好后批量选择节点,运行您指定的脚本,以实现个性化的需求。
集群脚本类似引导操作,您可以在集群创建好后安装很多目前集群尚未支持的软件到您的集群上,例如:

  • 使用 yum 安装已经提供的软件。

  • 直接下载公网上的一些公开的软件。

  • 读取 OSS 中您的自有数据。

  • 安装并运行一个服务,例如 Flink 或者 Impala,但需要编写的脚本会复杂些。

强烈建议您先用单个节点进行集群脚本的测试,测试都正确以后再在整个集群上操作。

[font='iconfont'] 如何使用


  1. 集群状态是空闲或者运行中的集群可以运行集群脚本,集群列表页面点击对应集群的查看详情按钮

  2. 左侧菜单单击集群脚本,即会进入该集群的集群脚本执行界面,右侧是已经执行过的集群脚本列表。

  3. 单击右上角创建并执行,进入创建界面。

  4. 填写创建界面上的配置项,选择执行的节点,点击执行,完成添加并执行操作。

  5. 集群脚本列表可以看到新创建的集群脚本,点击刷新可以更新集群脚本的状态。

  6. 点击查看详情可以看到脚本在各个节点上的运行情况,点击刷新可以更新脚本在各个节点上的运行状态。

只有空闲或者运行中的可用集群才能使用集群脚本功能。集群脚本适用于长期存在的集群,对按需创建的临时集群,应使用引导操作来完成集群初始化工作。
集群脚本会在您指定的节点上下载oss上的脚本并运行,根据返回值是否为0判断执行成功还是失败。如果运行状态是失败,您可以登录到各个节点上查看运行日志,运行日志记录在每个节点的/var/log/cluster-scripts/ clusterScriptId目录下。如果集群配置了oss日志目录,运行日志也会上传到 osslogpath/clusterId/ip/cluster-scripts/ clusterScriptId目录下方便查看。
默认会使用 root 账户执行您指定的脚本,您可以在脚本中使用 su hadoop 切换到 Hadoop 账户。
集群脚本可能在部分节点上运行成功,部分节点上运行失败,例如节点重启导致的脚本运行失败。您可以在解决异常问题后,单独指定失败的节点再次运行。当集群扩容后,您也可以指定扩容的节点单独运行集群脚本。
1个集群同一时间只能运行一个集群脚本,如果有正在运行的集群脚本,无法提交执行新的集群脚本。每个集群最多保留10个集群脚本记录,超过10个需要将之前的记录删除才能创建新的集群脚本。

[font='iconfont'] 脚本的例子


类似引导操作的脚本,您可以在脚本中指定从 OSS 下载需要的文件,下面的例子会将 oss://yourbucket/myfile.tar.gz这个文件下载到本地,并解压到 /yourdir 目录下:
  1. #!/bin/bash
  2. osscmd --id=<yourid> --key=<yourkey> --host=oss-cn-hangzhou-internal.aliyuncs.com get oss://<yourbucket>/<myfile>.tar.gz ./<myfile>.tar.gz
  3. mkdir -p /<yourdir>
  4. tar -zxvf <myfile>.tar.gz -C /<yourdir>

osscmd 已预安装在节点上,可以直接调用来下载文件。
注意:OSS 地址 host 有内网地址、外网地址和 VPC 网络地址之分。如果用经典网络,需要指定内网地址,杭州是oss-cn-hangzhou-internal.aliyuncs.com。如果用 VPC 网络,要指定 VPC 内网可访问的域名,杭州是vpc100-oss-cn-hangzhou.aliyuncs.com。
脚本也可以通过 yum 安装额外的系统软件包,下面的例子会安装 ld-linux.so.2:
  1. #!/bin/bash
  2. yum install -y ld-linux.so.2
取消 提交回答
全部回答(0)
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123728浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120255浏览量 回答数 10

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292302浏览量 回答数 110

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118481浏览量 回答数 5

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121168浏览量 回答数 8

294

回答

Linux Bash严重漏洞修复紧急通知(已全部给出最终修复方案)

qilu 2014-09-25 13:26:50 431624浏览量 回答数 294

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149410浏览量 回答数 82

97

回答

Redhat/CentOS一键安装web环境全攻略

xiaofanqie 2011-08-11 14:51:38 123217浏览量 回答数 97

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471462浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204014浏览量 回答数 2
+关注
716
文章
646
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载