实战阿里云容器服务Kubernetes版本升级(一)

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本文主要讲述了阿里云容器服务Kubernetes版本升级过程中踩的坑。

一、背景

2019年11月26日,阿里云容器服务Kubernetes版本升级到1.14.8,同时更新了Kubernetes 版本支持机制:(https://help.aliyun.com/document_detail/115453.html

  • 同时支持两个双数号的大版本,例如 v1.12、v1.14
  • 保持每半年更新一次 Kubernetes 版本的频率。
  • 当新版本发布上线时,会立即下线一个较早的版本;当新版本的升级功能发布后,会淘汰这个较早的版本。

2019年11月27日,阿里云下发了Kubernetes版本升级通知(邮件和站内信),提醒我们及时升级。
1.png

好吧,我们有2个正在使用的阿里云Kubernetes集群版本,分别是1.9.7和1.10.4,在失效版本之列,那就安排升级呗。
好消息是1.10.4版本的集群,是测试环境,可以拿来当白老鼠。(虽然跟下面线上1.9.7版本不一致,不能完全反映问题,但至少可以提供重要参考。)
坏消息是1.9.7版本的集群,是提供公司级别的中台基础服务(例如消息推送),升级出问题会影响线上所有业务。

二、白老鼠升级(1.10.4-->1.14.8)

白老鼠先上,把1.10.4版本的测试环境集群直接升级到最新的1.14.8。
阿里云官方Kubernetes版本升级注意事项,洋洋洒洒这么多,其实对升级没啥帮助。
2.png

用大白话翻译一下Kubernetes版本升级最重要的注意事项:

  • 不能跨大版本升级,只能按照大版本逐个版本升级
  • 升级不可逆,可以暂停,但不能回滚

跟测试小伙伴同步好风险后,我们把1.10.4版本升级到了1.14.8,升级过程遇到的问题记录如下:

1.10.4升级到1.11.5

(1)前置检查的时候报差错:
3.png

处理方法:

  • 在报错的服务器上修改配置文件/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
    Environment="KUBELET_CERTIFICATE_ARGS=后面添加--anonymous-auth=false
  • systemctl restart kubelet 重启kubelet

(2)升级master时出现截图报错,升级完成后恢复:
4.png

(3)在升级node时,会有pod迁移动作(蓝绿),未影响到应用正常使用

1.11.5升级到1.12.6

(1)升级完成的时间点出现报错,大概5分钟后自动恢复
5.png

1.12.6升级到1.14.8

(1)升级master时,出现报错,自动恢复
6.png
7.png

(2)所有服务出现了大概2分钟左右的断线,之后自动恢复。

三、白老鼠升级小结

  1. 升级肯定会导致应用服务中断,而且会中断多次,中断时间几分钟到几十分钟。不过都会自动恢复,不需要人工干预。
  2. 应用存在需要重新手工发布的风险。
  3. 升级存在失败的风险
  4. 白老鼠k8s集群版本和线上环境k8s版本不一样,不能完全反应问题。
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
打赏
0
0
0
0
1
分享
相关文章
阿里云飞天企业版获【可信云·容器平台安全能力】先进级认证
阿里云飞天企业版容器系列产品获中国信息通信研究院【可信云·容器平台安全能力】先进级认证,这是飞天企业版容器产品获得《等保四级PaaS平台》和《 云原生安全配置基线规范V2.0》之后,本年度再一次获得行业权威认可,证明飞天企业版的容器解决方案具备符合行业标准的最高等级容器安全能力。
104 8
阿里云飞天企业版获【可信云·容器平台安全能力】先进级认证
DeepSeek大解读系列公开课上新!阿里云专家主讲云上智能算力、Kubernetes容器服务、DeepSeek私有化部署
智猩猩「DeepSeek大解读」系列公开课第三期即将开讲,聚焦阿里云弹性计算助力大模型训练与部署。三位专家将分别讲解智能算力支撑、Kubernetes容器服务在AI场景的应用实践、以及DeepSeek一键部署和多渠道应用集成,分享云计算如何赋能大模型发展。欲观看直播,可关注【智猩猩GenAI视频号】预约。 (239字符)
基于阿里云容器服务Kubernetes版(ACK)的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版(ACK)设计和实现微服务架构。首先概述了微服务架构的优势与挑战,如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能,包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时,需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例,展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持,帮助应对各种挑战,构建高效可靠的云原生应用。
阿里云容器服务AI助手2.0 - 新一代容器智能运维能力
2024年11月,阿里云容器服务团队进一步深度融合现有运维可观测体系,在场景上覆盖了K8s用户的全生命周期,正式推出升级版AI助手2.0,旨在更好地为用户使用和运维K8S保驾护航。
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日,阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。
容器服务Kubernetes场景下可观测体系生产级最佳实践
阿里云容器服务团队在2024年继续蝉联Gartner亚洲唯一全球领导者象限,其可观测体系是运维的核心能力之一。该体系涵盖重保运维、大规模集群稳定性、业务异常诊断等场景,特别是在AI和GPU场景下提供了全面的观测解决方案。通过Tracing、Metric和Log等技术,阿里云增强了对容器网络、存储及多集群架构的监控能力,帮助客户实现高效运维和成本优化。未来,结合AI助手,将进一步提升问题定位和解决效率,缩短MTTR,助力构建智能运维体系。
采集kubernetes的容器日志
原文:https://www.zeusro.tech/2018/12/08/log-to-kubernetes/ 推送到ElasticSearch
2779 0
使用阿里云日志服务采集查询kubernetes容器日志
使用阿里云日志收集查询kubernetes容器日志
2954 0
ACK One多集群Service帮助大批量应用跨集群无缝迁移
ACK One多集群Service可以帮助您,在无需关注服务间的依赖,和最小化迁移风险的前提下,完成跨集群无缝迁移大批量应用。

热门文章

最新文章

相关产品

  • 容器服务Kubernetes版
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等