企业级运维之云原生与Kubernetes实战课程
第四章第3讲 ACK集群节点管理
视频地址：
https://developer.aliyun.com/learning/course/913/detail/14568
一、 集群节点管理概述
1. 场景需求：
a. 场景一：云节点负载高、节点内核夯住；
- 问题：节点上的pod无法收到外来的请求或者无法快速响应；
- 解决方案：移除节点，将节点上的pods转移到其他节点，然后移除该节点。
b. 场景二：节点被改坏掉，修复回来很麻烦；
- 问题：节点配置被修改后，导致在该节点发起的应用部署失败；
- 解决方案：将该节点移除，然后再恢复；
c. 场景三：集群节点不够或者节点资源太多，有些浪费；
- 问题：这种场景多见于电商平台，在平台活动期间需要增加节点以支撑大规模的流量涌入，而活动过后，这些节点资源又会被闲置；
- 解决方案：在高峰时添加节点，高峰过后再将闲置节点资源移除；
d. 场景四：节点的规格已经不满足要求，需要升降配；
- 问题：阿里云ECS升降配需要重启才能生效，但重启会影响节点上的业务；
- 解决方案：应对这种场景通常的解决方案是将节点从集群中移除，再重启，是否有其他解决方案，可以不用移除节点又不会影响业务？（答案在后面的部分）
2. 节点管理概述
节点管理包括三方面：节点添加、节点移除和节点运维。
集群节点管理约束：
- 控制台不可运维、删除master节点；
- 不可以添加master节点，master节点的数量是在创建的时候确定的，有3和5两个选项，创建好以后就不能再修改；
- 每个集群默认最多只能添加1000个节点，标准托管集群只能添加10个节点
参考文档：ACK集群配额限制https://help.aliyun.com/document_detail/86741.html
二、节点添加
1. 添加方式
- 扩容新节点；
- 自动添加已有节点；
- 手动添加已有节点；
2. 前置条件
- 节点必须和集群在同一vpc下，可以在不同的vSwitch下，选择多个可用区可以提高库存命中率；
- 仅支持添加同一账号下的服务器；
- 仅支持以下操作系统：
Alibaba CloudLinux2（推荐）
Centos 7.x
Windows Server 2009、WindowsServer 2009 Core
注：更多前置条件请参考文档“添加Kubernetes集群节点的常见问题”
https://help.aliyun.com/document_detail/170722.html
3. 扩容新节点
a. 节点池
- 节点池是集群中具有相同配置的一组节点，节点池可以包含一个或多个节点。
- 节点池的作用是在有限的范围内，解决被管理对象的多样性带来的复杂性，以及当节点数大幅增长带来的管理成本增加。
- 运维人员可以根据具体业务需求规划节点池，给不同节点池的节点打标签和污点，在应用部署中，通过节点标签选择器和容忍污点，实现应用部署到指定节点池上。
在下图中有三个节点池，分别有各自的标签，在部署时通过标签选择器将pod应用上的标签与节点池的标签进行匹配。
b. 扩容新节点步骤
- 进入容器服务管理平台，在左侧栏选择集群；
- 在集群列表页面，选择目标集群，并在目标集群右侧操作列下，选择“更多- 集群扩容”；
- 在节点池页面，单击目标节点池操作列的扩缩容；
- 在期望节点数处输入数值，单击“确定”，然后在修改确认的对话框中，单击“确定”。
4. 手动添加已有节点
a. 操作步骤：
- 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；
- 在集群管理页左侧导航栏中，选择节点管理 > 节点池；
- 在节点池页面，单击目标节点池右侧操作列下的更多，然后单击添加已有节点；
- 在选择已有云服务器实例配置项页面，选择手动添加已有云服务器实例；
- 单击下一步，完成填写实例信息；
注：建议勾选“将容器和镜像存储在数据盘”。
- 单击下一步，进入添加完成页面。在添加完成页面复制执行命令到需要添加的节点上执行；
- 在ECS实例远程连接界面，复制粘贴命令，单击“确定”开始执行脚本；
- 等待脚本执行成功，该云服务器就添加成功。
b. 原理
- 控制台选择手动添加已有节点后，会生成一个可执行shell命令；
- 登录ECS节点，执行shell命令；
- 从oss下载attach_node.sh并执行，attach_node.sh会从oss下载PKG，执行一些必要的包安装；
- 配置系统环境和kubelet等参数，然后调用kubeadm加入集群并启动kubelet。
3. 自动添加已有节点
a. 操作步骤
- 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；
- 在集群管理页左侧导航栏中，选择节点管理 > 节点池；
- 在节点池页面，单击目标节点池右侧操作列下的更多，然后单击添加已有节点；
- 在选择已有云服务器实例配置向导页面，选择自动添加已有云服务器实例；
- 单击下一步，完成填写实例信息；
- 单击下一步，在添加已有实例到集群对话框中单击确定。
b. 重要参数
- 数据盘挂载：如果ECS已挂载数据盘，且最后一块数据盘的文件系统未初始化，系统会自动将该数据盘格式化为ext4，用来存放/var/lib/docker、/var/lib/kubelet；
- CPU Policy：none:默认策略；
- Static：允许为节点上具有某些资源特征的Pod赋予增强的CPU亲和性和独占性；
- RDS白名单：将ECS和Pod CIDR加入RDS白名单；
- 实例自定义数据：ECS启动时执行，可以放入脚本，实现定制化的系统初始化工作。
三、节点移除
鉴于移除节点会涉及pod迁移，可能会影响业务，建议在业务低峰期操作。
1. 移除方法
- 控制台选择节点，并勾选“排空节点”、“释放ECS”等选项移除节点；
自动排空节点（drain）：把待移除节点上的Pod转移到其他节点
- kubectl delete node，手动移除节点，这种方式会先在集群中移除节点，ACK管控会定时同步节点池，会有一定延迟；
- 如果没有通过容器服务控制台，而是直接在ECS控制台主动释放节点、移除实例，节点池为了能够将节点个数维持在期望节点数，会根据相应节点池配置自动扩容到期望节点数。
2. 注意事项
- 建议选择上面第一种方式移除节点；
- 包年包月实例，移除节点时无法释放(受ECS产品约束)，需要先转按量付费才能释放。
四、节点运维
1. 运维场景
- 节点负载高，不希望再调度新的Pod上来；
- 节点异常，或者节点显示正常但是无法正常工作，比如runc夯住，kubelet pleg not healthy；
- 节点需要修复高危漏洞；
- 节点需要升级dockerd、containerd、systemd、glibc等；
- 其他异常需要重启节点；
- 节点规格需要升降配，以满足业务需要；
- 其他场景；
2. 运维方法
- 将节点设置为不可调度：
kubectl drain node <node name>
kubectl cordon node <node name>
以上两种方式的区别：drain将节点设置为不可调度的同时，会驱逐原节点上的pod，而cordon仅将节点设置为不可调度，但不会影响原有节点。
- 恢复调度：
kubectl uncordon node <node name>
本讲小结
- 本章讲解了节点管理的操作，包括添加节点、移除节点、运维节点等；
- 根据实际场景来选择适合的运维方式。
思考：
- drain、cordon、uncordon有什么区别？何时该用drain，何时该用cordon？
- 添加节点失败，该如何排查？
