第一,扩容新节点。这是从无到有的一种方式,在阿里云控制台提供了很多不同的入口来添加 新节点。
第二,添加已有节点,分为手动和自动。自动添加会重置已有节点的系统盘,而手动添加不会。 因此,通过自动添加方式的话,需要对已有节点的系统盘的数据做快照,否则可能产生数据丢 失。
以上内容摘自《企业运维之云原生和Kubernetes实战》,这本书收录在开发者“藏经阁,下载地址:https://developer.aliyun.com/topic/download?id=8529
配置运行环境:安装与master和其他slave相同的java环境,jdk版本要相同。具体安装过程这里不再赘述。修改新节点的ip和主机名对应关系,修改/etc/hosts配置文件,定义ip与hostname的映射。
如何向集群中添加新的节点 关闭新节点防火墙,因为Hadoop集群是在内网环境运行,可以关闭防火墙。
配置新节点ssh免密码登录,使得master可以免密码登录到新节点主机。过程这里不再赘述。
如何向集群中添加新的节点 修改集群所有节点相关配置文件:修改集群所有节点(master和所有slave)的${HADOOP_HOME}/conf/slaves文件,增加新节点ip或hostname:新节点ip 新节点主机名:同时,集群所有节点上修改系统的/etc/hosts配置文件,增加ip与hostname的映射和上面修改slaves相同。
如何向集群中添加新的节点 新节点增加Hadoop:将master(namenode)中的配置拷贝到新节点(datanode),而且新节点的Hadoop的目录路径最好是和集群的其他节点一样,便于查看和管理。这一步只要用scp拷贝即可。
如何向集群中添加新的节点 负载均衡作用:当节点出现敀障,或新增加节点时,数据块可能分布不均匀,负载均衡可重新平衡各个datanode上数据块的分布,使得所有的节点数据和负载能处于一个相对平均的状态,从而避免由于新节点的加入而效率降低(如果不进行balance,新数据一般会被插入到新节点中)
如何向集群中添加新的节点
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。