目前EMR还没有直接在产品上支持磁盘的扩容,如果业务发展中发现数据存储空间不够了,可以通过在ECS控制台上,对磁盘直接进行扩容来实现。参考步骤如下:
节点数据盘扩容
- 在EMR控制台上点击进入待扩容的集群详情页面
- 查看集群中的待扩容的 Core 节点的 ECS Id,类似i-bp1bsithym5hh9h93xxx。默认的情况下,在扩容的时候,请将集群中所有的节点磁盘都进行统一的扩容,保证集群内部的节点的磁盘容量都是一致的。
- 复制 ECS Id,并前往 ECS 控制台。 选择左侧的实例标签,然后在搜索中选择实例 Id 并输入 ECS Id。注意要选择相同的地域。
- 找到对应的 ECS节点后,点击管理,进入实例详情页面,然后点击左侧的本实例磁盘标签。
- 扩容数据磁盘。 由于目前无法指定多个磁盘批量扩容,所以需要对每一个磁盘重复如下的扩容操作。
- 首先在 ECS 控制台,扩容所有磁盘,并重启节点。
- 参考 ECS磁盘扩容说明 进行磁盘扩容。
注意:这里umount操作失败的时候,需要先在集群上关闭 YARN 和 HDFS 服务。另外在 Disk1操作的时候可能会碰到 ilogtail 写日志而无法 umount 的情况。需要通过 sudo pgrep ilogtail | sudoxargs kill 将 ilogtail 暂时杀掉。后续可以通过重启节点来恢复 ilogtail 服务。
- 完成以后在节点通过 df -h 能够看到所有的磁盘都完成了扩容。
- 为了保证在后续的 EMR 扩容过程中使磁盘能和扩容后的一致,请工单联系我们扩容事项,我们进行集群数据更新。
节点系统盘扩容
- 在EMR控制台上点击进入待扩容的集群详情页面
- 查看集群中的待扩容的 Master 节点的 ECS Id,类似i-bp1bsithym5hh9h93xxx。默认的情况下,在扩容的时候,请将集群中所有的节点磁盘都进行统一的扩容,保证集群内部的节点的磁盘容量都是一致的。
- 复制 ECS Id,并前往 ECS 控制台。 选择左侧的实例标签,然后在搜索中选择实例 Id 并输入 ECS Id。注意要选择相同的地域。
- 找到对应的 ECS节点后,点击管理,进入实例详情页面,然后点击左侧的本实例磁盘标签。
- 找到系统磁盘。系统磁盘只会有一块。
- 首先在 ECS 控制台,扩容所有磁盘,并重启节点。
- 参考 ECS系统盘扩容说明 进行系统盘扩容。