Docker应用问题诊断与性能调优指南(一)- 先谈谈容器化性能调优

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 前言 性能调优是一个老生常谈的话题,通常情况下,一个应用在上线之前会进行容量规划、压力测试并进行验证,而性能调优则是在容量规划与验证结果之间出现差异时会进行的必然手段。从某种角度来讲,性能调优是一个非常需要经验的领域,需要调优人员对应用的架构、调用的链路、使用的语言、操作系统的差异、内核的参数表现等等都有完整的了解。

前言

性能调优是一个老生常谈的话题,通常情况下,一个应用在上线之前会进行容量规划、压力测试并进行验证,而性能调优则是在容量规划与验证结果之间出现差异时会进行的必然手段。从某种角度来讲,性能调优是一个非常需要经验的领域,需要调优人员对应用的架构、调用的链路、使用的语言、操作系统的差异、内核的参数表现等等都有完整的了解。大部分情况下,系统性能调优都是通过各种各样的工具监听、跟踪、分析、检测来检查解决的。所以通常情况下,性能调优的老手都有一套自己的诊断工具集以及相应的诊断方式。但是当性能调优遇到Docker的时候,很多事情发生了转变甚至恶化。

经常有客户抱怨说应用进入Docker后,应用的QPS无法和ECS进行媲美,并且时常会出现DNS查询超时、短连接TIME_OUT、网络丢包等等,这极大打击了客户对使用容器技术的信心与决心。诚然,容器化的方式根据网络模型的不同,会在传输效率上面略有差异,但远远达不到客户反馈的性能损耗,而在容器中进行调优与诊断的效果因为安装工具的复杂度大大折扣。

那么到底该如何针对容器的场景进行调优呢?

性能调优的“望闻问切”

在讨论容器化场景的性能调优之前,想先和大家谈一下性能调优中的“望闻问切”的问题。对于性能问题,大部分人第一个想到的是CPU利用率高,但是得到CPU利用率高这个现象后,我们改如何解决呢?从某种意义来讲,这个只是现象,并不是症状。为了方便大家理解,在此我打一个比方:感冒的时候我们去医院看病,病人跟大夫描述的是现象,包括头部发热、流鼻涕等等;而大夫通过探查、化验,得到的医学症状是病人的白细胞较多,喉咙有红肿等等,然后大夫确诊是细菌性感冒,给你开了999感冒灵。诊断病情的过程和性能调优是一样的,也需要找到现象、症状和解法。我们回到刚才CPU利用率高的例子:我们已知的现象是CPU的利用率高,然后我们通过strace进行检查,发现futex_wait系统调用占用了80%的CPU时间,而这才是真正的症状,根据这个症状,我们业务逻辑代码降低了线程切换,CPU利用率降低。

大部分的性能调优问题都可以通过发现现象、探测症状、解决问题这三个步骤来进行,而这在容器的性能调优中就更为重要的,因为在主机的性能调优过程中,我们有很多的经验可以快速找到症状,但是在容器的场景中,很多客户只能告诉我们的是现象。从某种角度来讲是由于客户并不了解使用的容器引擎的工作原理以及容器化架构的实现方式。那么接下来我们来看下容器化场景中性能调优面对的挑战。

容器化性能调优的难点

  1. VM级别的调优方式在容器中实现难度较大
    在VM级别我们看到的即是所有,网络栈是完整暴漏在我们面前的,CPU、内存、磁盘等也是完全没有限制的。性能调优老司机的工具箱安个遍,诊断流程走一趟基本问题就查个八九不离十了,但是在容器中,很多时候,都是默认不自带诊断、调优工具的,很多时候连ping或者telnet等等基础命令都没有,这导致大部分情况下我们需要以黑盒的方式看待一个容器,所有的症状只能从VM层的链路来看。但是我们知道容器通过namespace的隔离,具备完整网络栈,CPU、内存等通过隔离,只能使用limit的资源,如果将容器当做黑盒会导致很多时候问题症状难以快速发现。排查问题的方式变难了。
  2. 容器化后应用的链路边长导致排查问题成本变大
    容器的场景带来很多酷炫的功能和技术,比如故障自动恢复,弹性伸缩,跨主机调度等等,但是这一切的代价是需要依赖容器化的架构,比如Kubernetes网络中需要FullNat的方式完成两层网络的转发等等,这会给排查问题带来更复杂的问题,当你不清楚编排引擎的架构实现原理的时候,很难将问题指向这些平时不会遇到的场景。例如上面这个例子中,FullNat的好处是降低了网络整体方案的复杂性,但是也引入了一些NAT场景下的常见问题,比如短连接场景中的SNAT五元组重合导致包重传的问题等等。排查问题的方位变大了。
  3. 不完整隔离带来的调优复杂性
    容器技术本质是一种虚拟化技术,提到虚拟化技术就离不开隔离性,虽然我们平时并不需要去考虑隔离的安全性问题,但是当遇到性能调优的时候,我们发现内核的共享使我们不得不面对的是一个更复杂的场景。举个,由于内核的共享, 系统的proc是以只读的方式进行挂载的,这就意味着系统内核参数的调整会带来的宿主机级别的变更。在性能调优领域经常有人提到C10K或者C100K等等类似的问题,这些问题难免涉及到内核参数的调整,但是越特定的场景调优的参数越不同,有时会有彼之蜜糖,我之毒药的效果。因此同一个节点上的不同容器会出现非常离奇的现象。
  4. 不同语言对cgroup的支持
    这个问题其实大多数场景下我们是不去考虑的,但是在此我们把他列在第四位的原因是期望能够引起大家的重视。一次在和Oracel Java基础库的负责同学聊天中了解到Java针对与Cgroup的场景做了大量的优化,而且时至今日,在Java的标准库中对于Cgroup的支持还是不完全的,好在这点在大多数的场景中是没有任何影响,也就不过多的讨论。排查问题的脑洞更大了。
  5. 网络方案不同带来的特定场景的先天缺欠
    提到容器架构我们逃不掉的话题是网络、存储和调度,网络往往是一个容器架构好坏的最根本的评判标准,不同的网络方案也会有不同的实现方式与问题。比如在阿里云的Kubernetes中我们使用了Flannel的CNI插件实现的网络方案,标准Flannel支持的Vxlan的网络方案,Docker的Overlay的macVlan,ipvlan的方案等等。这些不同的网络方案无一例外都是分布式的网络方案而存储的数据都会存放在一个中心存储中,因此越大型的集群对网络中心存储的压力也就越大,出错的可能性就越大。此外跨宿主机的二层网络很多都会通过一些封包解包的方式来进行数据传输,这种方式难免会增加额外的系能损耗,这是一种先天的缺欠,并不是调优能够解决的问题。有的时候排查出问题也只能绕过而不是调优。
  6. 镜像化的系统环境、语言版本的差异
    应用容器化是一个需要特别值得注意的问题,很多公司其实并没有严格的配管流程,比如系统依赖的内核版本、语言的小版本等等,进行应用容器化很多时候都是选择一个大概的版本,这会带来很多语言层级的BUG,比如PHP7.0中php-fpm的诡异行为,而这个现象在客户原本的5.6版本上已经修复过了。环境的问题本是一个严肃的问题,需要严格个管控,但是当遇到了容器,很多时候我们会分不清哪些不经意的行为会带来严重的问题。警惕性因为容器镜像能够正常启动而降低。

最后

这篇文章中我们主要讨论了基础的性能调优的方式以及容器化场景中性能调优的难点,在下篇文章中我们会来套路下不同的性能瓶颈现象对应的诊断和调优方法。

目录
相关文章
|
14天前
|
数据库 Docker 容器
docker容器为啥会开机自启动
通过配置适当的重启策略,Docker容器可以在主机系统重启后自动启动。这对于保持关键服务的高可用性和自动恢复能力非常有用。选择适合的重启策略(如 `always`或 `unless-stopped`),可以确保应用程序在各种情况下保持运行。理解并配置这些策略是确保Docker容器化应用可靠性的关键。
161 93
|
1月前
|
监控 NoSQL 时序数据库
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
271 77
|
17天前
|
Ubuntu NoSQL Linux
《docker基础篇:3.Docker常用命令》包括帮助启动类命令、镜像命令、有镜像才能创建容器,这是根本前提(下载一个CentOS或者ubuntu镜像演示)、容器命令、小总结
《docker基础篇:3.Docker常用命令》包括帮助启动类命令、镜像命令、有镜像才能创建容器,这是根本前提(下载一个CentOS或者ubuntu镜像演示)、容器命令、小总结
102 6
《docker基础篇:3.Docker常用命令》包括帮助启动类命令、镜像命令、有镜像才能创建容器,这是根本前提(下载一个CentOS或者ubuntu镜像演示)、容器命令、小总结
|
28天前
|
搜索推荐 安全 数据安全/隐私保护
7 个最能提高生产力的 Docker 容器
7 个最能提高生产力的 Docker 容器
117 35
|
1月前
|
监控 Docker 容器
在Docker容器中运行打包好的应用程序
在Docker容器中运行打包好的应用程序
|
15天前
|
数据库 Docker 容器
docker容器为啥会开机自启动
通过配置适当的重启策略,Docker容器可以在主机系统重启后自动启动。这对于保持关键服务的高可用性和自动恢复能力非常有用。选择适合的重启策略(如 `always`或 `unless-stopped`),可以确保应用程序在各种情况下保持运行。理解并配置这些策略是确保Docker容器化应用可靠性的关键。
41 17
|
27天前
|
Ubuntu Linux 开发工具
docker 是什么?docker初认识之如何部署docker-优雅草后续将会把产品发布部署至docker容器中-因此会出相关系列文章-优雅草央千澈
Docker 是一个开源的容器化平台,允许开发者将应用程序及其依赖项打包成标准化单元(容器),确保在任何支持 Docker 的操作系统上一致运行。容器共享主机内核,提供轻量级、高效的执行环境。本文介绍如何在 Ubuntu 上安装 Docker,并通过简单步骤验证安装成功。后续文章将探讨使用 Docker 部署开源项目。优雅草央千澈 源、安装 Docker 包、验证安装 - 适用场景:开发、测试、生产环境 通过以上步骤,您可以在 Ubuntu 系统上成功安装并运行 Docker,为后续的应用部署打下基础。
docker 是什么?docker初认识之如何部署docker-优雅草后续将会把产品发布部署至docker容器中-因此会出相关系列文章-优雅草央千澈
|
16天前
|
运维 Java 虚拟化
《docker基础篇:1.Docker简介》,包括Docker是什么、容器与虚拟机比较、能干嘛、去哪下
《docker基础篇:1.Docker简介》,包括Docker是什么、容器与虚拟机比较、能干嘛、去哪下
85 12
|
17天前
|
Kubernetes Linux 虚拟化
入门级容器技术解析:Docker和K8s的区别与关系
本文介绍了容器技术的发展历程及其重要组成部分Docker和Kubernetes。从传统物理机到虚拟机,再到容器化,每一步都旨在更高效地利用服务器资源并简化应用部署。容器技术通过隔离环境、减少依赖冲突和提高可移植性,解决了传统部署方式中的诸多问题。Docker作为容器化平台,专注于创建和管理容器;而Kubernetes则是一个强大的容器编排系统,用于自动化部署、扩展和管理容器化应用。两者相辅相成,共同推动了现代云原生应用的快速发展。
85 11
|
1月前
|
Unix Linux Docker
CentOS停更沉寂,RHEL巨变限制源代:Docker容器化技术的兴起助力操作系统新格局
操作系统是计算机系统的核心软件,管理和控制硬件与软件资源,为用户和应用程序提供高效、安全的运行环境。Linux作为开源、跨平台的操作系统,具有高度可定制性、稳定性和安全性,广泛应用于服务器、云计算、物联网等领域。其发展得益于庞大的社区支持,多种发行版如Ubuntu、Debian、Fedora等满足不同需求。
66 4