开发者社区> 问答> 正文

E-MapReduce磁盘扩容是什么?


目前EMR还没有直接在产品上支持磁盘的扩容,如果业务发展中发现数据存储空间不够了,可以通过在ECS控制台上,对磁盘直接进行扩容来实现。参考步骤如下:

节点数据盘扩容

  1. 在EMR控制台上点击进入待扩容的集群详情页面
  2. 查看集群中的待扩容的 Core 节点的 ECS Id,类似i-bp1bsithym5hh9h93xxx。默认的情况下,在扩容的时候,请将集群中所有的节点磁盘都进行统一的扩容,保证集群内部的节点的磁盘容量都是一致的。
  3. 复制 ECS Id,并前往 ECS 控制台。 选择左侧的实例标签,然后在搜索中选择实例 Id 并输入 ECS Id。注意要选择相同的地域。
  4. 找到对应的 ECS节点后,点击管理,进入实例详情页面,然后点击左侧的本实例磁盘标签。
  5. 扩容数据磁盘。 由于目前无法指定多个磁盘批量扩容,所以需要对每一个磁盘重复如下的扩容操作。
  6. 首先在 ECS 控制台,扩容所有磁盘,并重启节点。
  7. 参考 ECS磁盘扩容说明 进行磁盘扩容。

    注意:这里umount操作失败的时候,需要先在集群上关闭 YARN 和 HDFS 服务。另外在 Disk1操作的时候可能会碰到 ilogtail 写日志而无法 umount 的情况。需要通过 sudo pgrep ilogtail | sudoxargs kill 将 ilogtail 暂时杀掉。后续可以通过重启节点来恢复 ilogtail 服务。
  8. 完成以后在节点通过 df -h 能够看到所有的磁盘都完成了扩容。
  9. 为了保证在后续的 EMR 扩容过程中使磁盘能和扩容后的一致,请工单联系我们扩容事项,我们进行集群数据更新。


节点系统盘扩容

  1. 在EMR控制台上点击进入待扩容的集群详情页面
  2. 查看集群中的待扩容的 Master 节点的 ECS Id,类似i-bp1bsithym5hh9h93xxx。默认的情况下,在扩容的时候,请将集群中所有的节点磁盘都进行统一的扩容,保证集群内部的节点的磁盘容量都是一致的。
  3. 复制 ECS Id,并前往 ECS 控制台。 选择左侧的实例标签,然后在搜索中选择实例 Id 并输入 ECS Id。注意要选择相同的地域。
  4. 找到对应的 ECS节点后,点击管理,进入实例详情页面,然后点击左侧的本实例磁盘标签。
  5. 找到系统磁盘。系统磁盘只会有一块。
  6. 首先在 ECS 控制台,扩容所有磁盘,并重启节点。
  7. 参考 ECS系统盘扩容说明 进行系统盘扩容。

展开
收起
nicenelly 2017-10-30 13:59:42 1689 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
阿里云E-MapReduce 立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \" 立即下载
大数据解决方案构建详解 以阿里云E-MapReduce为例 立即下载