Docker限制

简介: Docker系列文章:此篇是Docker系列的第十篇,大家一定要按照我做的Demo都手敲一遍,印象会更加深刻的,马上就开始Kubernetes,加油!一起前行!1. 为什么要学习Docker2. Docker基本概念3. Docker镜像基本原理4. Docker容器数据卷5. Dockerfile6. Docker单机网络上7. Docker单机网络下8. Docker单机网络实战9. Docker隔离技术

一、前言

Docker系列文章:

此篇是Docker系列的第十篇,大家一定要按照我做的Demo都手敲一遍,印象会更加深刻的,马上就开始Kubernetes,加油!一起前行!

  1. 为什么要学习Docker
  2. Docker基本概念
  3. Docker镜像基本原理
  4. Docker容器数据卷
  5. Dockerfile
  6. Docker单机网络上
  7. Docker单机网络下
  8. Docker单机网络实战
  9. Docker隔离技术


二、隔离的问题


之前我们做的Demo都没有使用限制,这个时候我们使用stats命令来看下整体资源的使用情况;

docker stats

img

这个时候我们可以看到容器是可以使用到宿主机的所有的资源,这也是基于Linux Namespace的隔离机制相比于虚拟化技术的不足之处,就是对资源的隔离不够彻底,当一个宿主机上运行多个容器的时候,容器是共享宿主机的CPU和内存,这个时候如果某XX程序写了一个内存溢出的程序部署到容器中,这个时候就会影响到同一台宿主机的其他容器,那么对于这个问题我们该如何解决?


三、Cgroups


Linux Cgroups的全称是Linux Control Group。它最主要的作用,就是限制一个进程组能够使用的资源上限,包括CPU、内存、磁盘、网络带宽等等。这种机制可以根据需求把一系列系统任务及其子任务整合(或分隔)到按资源划分等级的不同组内,从而为系统资源管理提供一个统一的框架。简单说,Cgroups 可以限制、记录任务组所使用的物理资源。本质上来说,Cgroups 是内核附加在程序上的一系列钩子(hook),通过程序运行时对资源的调度触发相应的钩子以达到资源追踪和限制的目的。也就是说开发者可以通过 Cgroups 提供的精细化控制能力,限制某一个或者某一组进程的资源使用。

Cgroups的主要作用

实现 Cgroups 的主要目的是为不同用户层面的资源管理提供一个统一化的接口。从单个任务的资源控制到操作系统层面的虚拟化,Cgroups 提供了四大功能:

  1. 资源限制:Cgroups 可以对进程的资源总额进行限制;
  2. 优先级分配:通过分配的 CPU 时间片数量和磁盘 IO 带宽,实际上就等同于控制了任务运行的优先级;
  3. 资源统计:Cgroups 可以统计系统的资源使用量,比如 CPU 使用时长、内存用量等;
  4. 任务控制:Cgroups 可以对任务执行挂起、恢复等操作;

Cgroups文件系统探索

在Linux中,Cgroups给用户暴露出来的操作接口是文件系统,即它以文件和目录的方式组织在操作系统的/sys/fs/cgroup路径下,我们可以通过 mount 命令来查看 Cgroups 默认的挂载点:

mount | grep cgroup

image.png

输出的结果是一系列文件系统目录(如果你在自己的机器上没有看到这些目录,那你就需要自己去挂载Cgroups)。

让我们来使用ll命令看一下 /sys/fs/cgroup目录下包含哪些子目录,

ll /sys/fs/cgroup

image.png

在/sys/fs/cgroup目录包括cpuset、cpu、 memory这样的子目录,这些都是我这台机器当前可以被Cgroups进行限制的资源种类,接下来我们深入到memory的子目录下看下该目录下都有什么:

image.png

这些文件就是 Cgroups 的 memory 子系统中的根级设置。比如 memory.limit_in_bytes 中的数字用来限制进程的最大可用内存,memory.swappiness 中保存着使用 swap 的权重等等。

既然 Cgroups 是以这些文件作为 API 的,那么我就可以通过创建或者是修改这些文件的内容来限制进程的资源,接下来我们就来在展示下如何使用Cgroups。


四、Cgroups


该案例是限制进程可以用的CPU

  1. 在 /sys/fs/cgroup/cpu目录下新建一个名称为limit_cpu的目录;
#进入对应的目录
cd /sys/fs/cgroup/cpu
#新建文件夹
mkdir limit_cpu
  1. 查看新建文件的目录,我们可以发现系统已经帮我们自动创建的以下目录,也就是说明了Cgroups 的文件系统会在创建文件目录的时候自动创建这些配置文件;
cd limit_cpu/
ls
  1. image.png
  2. 我们通过配置将CPU周期限制为总量的十分之一;
#设置CPU period的周期的100ms(100000 us),该值也是默认的值
echo 100000 > cpu.cfs_period_us
#设置CPU的配额为10ms(10000 us),这样就是为总量的十分之一
echo 10000 > cpu.cfs_quota_us
  1. 切换/usr/local目录下,新建cputime.c文件,编写如下相加程序;
#切换目录
cd /usr/local
#新建文件
touch cputime.c
#编辑文件
vim cputime.c
void main(){
    unsigned int i, end;
    end = 1024 * 1024 * 1024;
    for(i = 0; i < end; )
    {
        i ++;
    }
}
  1. 编译程序
gcc cputime.c -o cputime
  1. 使用不同的CPU限制,对比执行时间执行时间,通过对比我们可以发现限制的CPU使用时间大概是我们不使用限制下的时间的10倍,说明我们限制是生效的;
#CentOS系统需要安装libcgroup-tools包,才有cgroup配置命令
yum install -y libcgroup-tools.x86_64
#无限制下的CPU执行时间
time ./cputime
#使用limit_cpu限制下的CPU执行时间
time cgexec -g cpu:limit_cpu ./cputime
  1. image.png

总结一下,Linux Cgroups 就是一个子系统目录加上一组资源限制文件的组合。


五、Docker限制探究


使用

使用如下命令启动,看到--cpu-period和--cpu-quota相信你会感到熟悉,这不是和我们上面使用限制CPU时候的参数配置基本上是一样,这个时候我们怀疑Docker的限制可能使用Cgroups的技术,接下来我们就探究下是不是这样的。

docker run -it -d --cpu-period=100000 --cpu-quota=20000 --memory 1000M --name limitcentos centos:latest

我们使用docker stats查看docker资源使用情况,会发现limitcentos的内存以及被限制到1000M了。

docker stats

image.png

原理探究

通过参数我们猜测可能Docker的限制可能使用Cgroups的技术,验证的最好的办法就是去找下Cgroups的目录结构,接下来我们分别看CPU的目录是否存在docker的限制。

  1. 进入Cgroups的cpu目录,我们会发现拖多出docker的目录;
cd /sys/fs/cgroup/cpu
ls
  1. img
  2. 进入docker目录,看到蓝色部分我们会想到docker启动成功以后返回一串字符串,确实蓝色部分就是代表Docker,最后那张图是limitcentos启动后返回的,我们可以看到他们是一致的;
    imgimg
  3. 进入limitcentos的对应的目录,我们会发现其目录和CPU限制的是基本一致的;
    image.png
  4. 接下来我们查看下cfs_period_us和cfs_quota_us的内容是否和docker启动的参数一致,经过验证发现是一致的;
#查看周期
cat cpu.cfs_period_us
#查看限制
cat cpu.cfs_quota_us
  1. image.png

经过demo验证,证实了Docker的限制就是使用Cgroups的技术。

相关文章
|
测试技术 Linux 调度
你必须知道的Docker资源限制
本文探索了Docker的资源限制相关知识,在日常开发中应该给容器设置一个合理的资源限制值,以防出现OOME的情况导致Linux杀掉错误的进程。
2269 0
|
Kubernetes Linux Docker
Docker容器生产实践1——永远设置容器内存限制
背景 在默认情况下,docker容器并不会对容器内部进程使用的内存大小进行任何限制。对于PaaS系统而言,或者对于直接使用docker的用户而言,这非常危险。
3025 0
|
缓存 Linux Shell
Docker资源(CPU/内存/磁盘IO/GPU)限制与分配指南
什么是cgroup? cgroups其名称源自控制组群(control groups)的简写,是Linux内核的一个功能,用来限制、控制与分离一个进程组(如CPU、内存、磁盘输入输出等)。 什么是Docker资源限制?
|
Docker 容器
Docker - 容器的资源限制
Docker - 容器的资源限制
117 0
|
Kubernetes Ubuntu 测试技术
Docker 与 K8S学习笔记(六)—— 容器的资源限制
我们在启动Docker容器时,默认情况下容器所使用的资源是没有限制的,这样就会存在部分特别耗资源的容器会占用大量系统资源,从而导致其他容器甚至整个服务器性能降低,为此,Docker提供了一系列参数方便我们对容器的CPU、内存、IO等进行限制。为了方便演示,我们这里使用progrium/stress镜
542 0
|
Docker 容器
docker 容器资源限制
docker 容器资源限制
217 1
docker 容器资源限制
|
Java Shell Linux
Java和Docker限制的那些事儿
Java和Docker不是天然的朋友。 Docker可以设置内存和CPU限制,而Java不能自动检测到。使用Java的Xmx标识(繁琐/重复)或新的实验性JVM标识,我们可以解决这个问题。 虚拟化中的不匹配 Java和Docker的结合并不是完美匹配的,最初的时候离完美匹配有相当大的距离。对于初学者来说,JVM的全部设想就是,虚拟机可以让程序与底层硬件无关。 那么,把我们的Java应用打包到JVM中,然后整个再塞进Docker容器中,能给我们带来什么好处呢?大多数情况下,你只是在复制JVMs和Linux容器,除了浪费更多的内存,没任何好处。感觉这样子挺傻的。 不过,Docker可以把
558 1
|
Kubernetes Cloud Native Ubuntu
Docker 容器实战 (六):容器的隔离与限制
Namespace 是 Linux 容器中用来实现 “隔离” 的一个重要技术手段。本文将为大家详细讲解其在容器隔离中的应用。
1392 0
Docker 容器实战 (六):容器的隔离与限制
|
容器 Linux Docker
Docker容器实战(六) - 容器的隔离与限制
Linux容器中用来实现“隔离”的技术手段:Namespace。Namespace实际上修改了应用进程看待整个计算机“视图”,即它的“视线”被操作系统做了限制,只能“看到”某些指定的内容。对于宿主机来说,这些被“隔离”了的进程跟其他进程并没有区别。
1634 0
|
Linux 应用服务中间件 nginx
Docker资源限制与Cgroups
Docker资源限制与Cgroups 一、Linux control groups 简介      Linux CGroup全称Linux Control Group, 是Linux内核的一个功能,用来限制,控制与分离一个进程组群的资源(如CPU、内存、磁盘输入输出等)。
2536 0