【赵渝强老师】Docker容器的资源管理机制

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本文介绍了Linux CGroup技术及其在Docker资源管理中的应用。通过实例演示了如何利用CGroup限制应用程序的CPU、内存和I/O带宽使用,实现系统资源的精细化控制,帮助理解Docker底层资源限制机制。

b395.png

在一台Docker宿主机上可以同时启动多个容器。在默认情况下,Docker的引擎对运行的容器没有限制硬件资源的使用。而在实际环境下,容器的负载过高会导致占用宿主机的大量资源。这里的资源主要是指宿主机的CPU、内存和I/O带宽这3个方面。


视频讲解如下:

一、 什么是Linux CGroup?

由于Docker是构建在Linux的基础之上,因此从Linux底层看,Docker是利用了Linux Control Group(简称Linux CGroup)实现了对资源使用的控制。因此,要掌握Docker容器的资源管理,有必要先了解一下什么是Linux CGroup。


Linux CGroup是Linux下的一些进程,通过这些进程可以限制应用程序对资源的使用。并且,通过Linux CGroup可以对系统资源做精细化控制。例如,可以实现对每个容器使用的CPU比率进行限制。Linux CGroup主要提供了以下的功能。


  • Resource limitation:限制资源使用,例如,使用CPU及内存的上限。
  • Prioritization:应用程序的优先级控制,例如,控制任务的调度。
  • Accounting:应用程序的审计和统计,例如,实现应用程序的计费。
  • Control:实现对应用程序的控制,例如,应用程序的挂起、恢复和执行等。


要是使用Linux CGroup功能,则需要先通过执行下面的步骤确定Linux的内核是否启用了Linux CGroup功能。

(1)确定操作系统的发行版号,如下图所示。

image.png


(2)根据操作系统的发行版号,可以确定是否启用了Linux CGroup功能。下图中的CGROUP参数的值是“y”,表示已经启动Linux CGroup对应的功能特性。

cat /boot/config-3.10.0-693.el7.x86_64 | grep CGROUP

image.png


了解了Linux CGroup功能特性后,下面将通过3个示例来演示如何使用Linux Group实现对系统资源使用的控制。


二、 通过Linux CGroup限制应用程序的CPU使用率


在本示例中,将利用C语言开发一段执行死循环的代码。由于是死循环,所以代码的CPU使用率将很高。然后通过使用Linux CGroup,将代码的CPU使用率限制在一定范围内,如20%。下面是具体的操作步骤。


(1)开发一段C程序代码产生一个死循环,并将代码保存为hello.c。

//hello.c
int main(void)
{
   int i = 0;
   for(;;) i++;
   return 0;
}

(2)将程序代码进行编译。

gcc -o hello hello.c

(3)执行程序代码,这时程序将产生死循环无法退出。

./hello


(4)在一个新的命令行窗口中,使用“top”命令监控应用程序hello的CPU使用率,可以看到已经达到了99.7%,如下图所示。

image.png


(5)进入“/sys/fs/cgroup/cpu/”目录下,创建一个新的子目录hello。该目录用于设置CPU使用率的阈值,如下图所示。

cd /sys/fs/cgroup/cpu/
mkdir hello
cd hello/
ls

image.png

(6)查看文件cpu.cfs_quota_us的内容为“-1”,表示没有对其CPU使用率进行限制。


(7)执行下面的语句将CPU使用率的阈值设置为20%。

echo 20000 > cpu.cfs_quota_us

(8)将应用程序hello的进程ID号写入tasks文件,如下图所示。

echo 21503 > tasks

image.png

(9)再次观察“top”命令的输出信息,发现应用程序hello的CPU使用率降到了20%,如下图所示。

image.png


(10)重新启动一个hello应用程序,并按照上面的步骤将进程ID号写入tasks文件。这时观察“top”命令的输出会发现,两个hello应用程序各自占用10%的CPU使用率,如下图所示。

image.png


二、 通过Linux CGroup限制应用程序使用系统内存


具体的操作步骤如下。

(1)进入“cd /sys/fs/cgroup/memory” 目录下,创建子目录hello。

cd /sys/fs/cgroup/memory
mkdir hello
cd hello

(2)查看文件memory.limit_in_bytes的内容。

more memory.limit_in_bytes
# 这里设定的值是9223372036854771712,表示没有对内存进行任何的限制。

(3)下面的语句会将内存的阈值设置为64KB。如果应用程序使用的内存超过了该值,则该应用程序会被操作系统自动“杀掉”。

echo 64k > memory.limit_in_bytes

(4)生效配置,将应用程序hello的进程ID号写入tasks文件。

echo 21503 > tasks


三、 通过Linux CGroup限制应用程序使用I/O带宽


为了更好地观察结果,首先安装iotop工具。

yum -y install iotop

# iotop是一个用来监视磁盘I/O使用状况的工具,包括pid、user、I/O、进程等相关信息。


下面的步骤演示了如何使用Linux CGroup限制应用程序使用I/O带宽。

(1)使用Linux的“dd”命令从磁盘持续读写数据。

dd if=/dev/sda of=/dev/null


(2)通过iotop工具查看I/O读取的速度为569.04 MB/s,如下图所示。

image.png

(3)查看设备“/dev/sda”的信息。从下图中可以看到,设备“/dev/sda”的设备号是“disk 8,0”。

ls -l /dev/sda

image.png


(4)使用Linux CGroup限制I/O对设备“/dev/sda”的读取速率。

mkdir /sys/fs/cgroup/blkio/io
cd /sys/fs/cgroup/blkio/io
echo '8:0 1048576'  > blkio.throttle.read_bps_device
# 通过这样,对该设备的读取速率被限制在了1MB/s之内了。

(5)将“dd”命令的进程ID号21681写入tasks文件。

echo 21681 > tasks

(6)再次观察iotop工具的监控输出信息,会发现这时“dd”命令对该设备的读取速率已经被设置了1.00 MB/s,如下图所示。

image.png


了解了Linux CGroup的功能后,再来讨论“Docker是如何对容器使用的资源进行设定”就变得非常简单了。Docker只是对Linux CGroup进行了封装,从而简化了调用操作的方式。


相关文章
|
10天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
8天前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
本文讲解 Prompt 基本概念与 10 个优化技巧,结合学术分析 AI 应用的需求分析、设计方案,介绍 Spring AI 中 ChatClient 及 Advisors 的使用。
389 130
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
|
2天前
|
存储 安全 前端开发
如何将加密和解密函数应用到实际项目中?
如何将加密和解密函数应用到实际项目中?
197 138
|
9天前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
374 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
2天前
|
存储 JSON 安全
加密和解密函数的具体实现代码
加密和解密函数的具体实现代码
194 136
|
21天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1344 8
|
7天前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
20天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1450 87