Ubantu docker学习笔记(五)容器底层技术

简介: Ubantu docker学习笔记(五)容器底层技术

一、Docker基本架构

docker架构采用标准的c/s架构,服务端用于管理数据,客户端用于用户交互,服务端和客户端可以在同一台机器上面运行,也可以在不同的机器上运行。

1.1 服务端

一般运行于后台,接受客户端的请求,只允许本地的root和docker用户组成员访问,可以通过-H来修改参数监听方式。同时支持HTTPS的方式来验证。

1.2 客户端

用户不可以和服务器直连,需要通过Docker客户端执行命令,与Docker服务器进行交互。与docker服务端不同的是,等待服务器放回的消息,收到消息后会马上结束。再执行的时候,需要再次调用客户端程序。同时可以执行命令指定服务器地址。

可以通过

docker version

去查看链接情况

如果没有则需要指定其到正确通信位置,实例代码如下

docker -H tcp://127.0.0.1:1234 version

二、Namespace

Namespace其实就相当于修改了看待计算机的视图,对于用户看到的线程进行了限制,比如说,我在外面运行了一个进程号为100的centos,但是在centos的内部,其进程号是重新开始计算的

我们通过一个小例子来操作一下

docker run -it centos /bin/bash
ps

在镜像容器内部,我们的进程从1重新开始

ctrl+q+p(退出但不终止容器)
docker ps
ps aux | grep d7ebd94af48f
ps a 显示现行终端机下的所有程序,包括其他用户的程序
ps u 以用户为主的格式来显示程序状况
ps x 显示所有程序,不以终端机来区分

找到刚刚这个镜像的id后,再去去打印其所有进程,很清楚的可以看到,centos的进程号为2799,但是其内部的进程号为1

2.1 Namespace的类别

Linux使用了6种namespace,分别对应6种资源: Mount、 UTS、IPC、PID、Network和User。

1.Mount namespace

其可以将文件系统的目录和另外一个目录关联起来,让容器看上去拥有了一整个文件系统,我们操作只会在当前容器生效不会影响其他容器。

2.UTS namespace

简单的来说可以让容器拥有自己的名字

docker run -h xiaotang -it centos

3.IPC namespace

让容器有共享的内存和信号量,使其在同一Namespace下可以互相通信

4.PID namespace

主要用来隔离我们的进程ID,使其可以重复且相互之间不受影响,也就是我们之前上面的例子啦,如果比喻成父子关系的话也就是,所有的父亲可以看到自己的子进程,子看不到父,楚门的世界啊哈哈哈哈。

5.Network namespace

让我们的容器拥有独立的网卡、ip和路由

6.Usernamespace

主要用来隔离和User权限相关的Linux资源,包括User ID和Group ID,用来管理用户和划分权限。

2.2 Namespace的劣势

1.隔离不彻底

多个容器使用的依旧是宿主机的内核,在windows宿主机上用低版本的Linux运行较高版本的Linux,行不通

2.部分资源不可以被Namespace化

时间,宿主机和容器时间保持一致

3.安全问题

因为共享内核,容器中应用暴露,攻击面大。可以通过一些技术来调整,但通常情况下不知道应该禁用哪些系统调用。

三、Cgroups

虽然我们使用namespace所限制,但是在外部看来,容器里面的进程会是一个整体,和宿主机上其他的资源依旧是竞争关系,因此依据有可能会把所有资源耗尽。Cgroups的设置,可以限制单个进程或者多个进程使用资源分配管理的机制,如上一小节中,我们设置cpu时间以及I/O读取限制,都属于其中的一种。

举个例子吧

docker run -it --cpu-shares 521 progrium/stress -c 1

然后我们

ls  /sys/fs/cgroup/cpu/docker

可以看到会有一个容器进程ip的目录

进入,然后打开里面的

cat cpu.shares

然后就可以看到我们刚刚分配的内存资源

3.1 Cgroups的限制能力

子系统 功能
blkio 该子系统为块设备设定输入/输出限制,如物理设备(磁盘、固态硬盘、USB 等 )。
cpu 该子系统使用调度程序提供对 CPU的 Cgroups 任务访问
cpuacct 该子系统自动生成Cgroups 中任务所使用的 CPU 报告
cpuset 该子系统为 Cgroups 中的任务分配独立CPU(在多核系统)和内存节点。
devuces 该子系统可允许或者拒绝 Cgroups 中的任务访问设备
freezer 该子系统挂起或者恢复 Cgroups 中的任务
memory 该子系统设定 Cgroups 中任务的内存限制,并自动生成由那些任务使用的内存资源报告
net_cls 该子系统使用等级识别符标记网络数据包,可允许 Linux 流量控制程序识别从具体 Cgroups中生成数据包
ns 该子系统提供了一个将进程分组到不同命名空间的方法

Cgroups对用户暴露出来的操作接口是文件系统,会在/sys/fs/cgroups的路径下,可以进行查看

mount -t cgroupscd 
cd /sys/fs/cgroup/cpu
ls

3.2 实例验证

cd /sys/fs/cgroup/cpu
mkdir container
ls container/

然后去跑满cpu

while :; do :; done &
top

cat /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us
cat /sys/fs/cgroup/cpu/container/cpu.cfs_period_us

现在我们打开限制,使其只能使用20%的cpu带宽,然后注意把我们刚刚top里面的进程号写入tasks

echo 20000 > /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us
echo 21097 > /sys/fs/cgroup/cpu/container/tasks

即我们可以通过为每一个容器创建控制组,加入到task文件中,来进行限制

docker run -it -d --cpu-period=100000 --cpu-quota=20000 centos /bin/bash

启动后也可以在在我们的控制组里面看到对应文件啦

cd /sys/fs/cgroup/cpu/docker
ls
cd 你的进程号
cat cpu.cfs_quota_us
cat cpu.cfs_period_us

3.3 Cgroups的劣势

在proc文件中,用户可以直接访问这些文件,但是用户在容器中中,使用top查看的会是宿主机的数据

四、Docker文件系统

4.1可读可写层的工作原理

docker镜像采用的是层级结构,通过docker命令一层一层通过docker commit来形成只读层,我们容器所有的操作都是在可读可写层上进行操作,直接删除容器后,可读可写层也会随着删除,可以用docker commit,来形成只读层。

1.写时复制

cow技术相当于直接共用容器中的只读层来节约空间,我们要进行操作时只需要把要写的文件复制到自己的文件系统进行修改

2.分时复制

用时分配是先前没有分配空间,只有在写入一个新文件的时候才进行分配

4.2docker存储驱动

Docker 提供了多种存储驱动(Storage Driver)来存储镜像,常用的几种 Storage Driver 是 AUFS、OverlayFS、Device Mapper、Btrfs、ZFS。

Docker存储驱动 宿主机文件系统
Overlay, Overlay2 XFS(ftype=1), EXT4
AUFS XFS,EXT4
Device Mapper direct-lvm
Btrfs Btrfs
ZFS ZFS
docker info

存储驱动 特点 优点 缺点 适用场合
AUFS 联合文件系统,未并入内核主线,文件级存储 作为 Docker 的第一个存储系统,有较长历史,比较文档,且在大量的生产中实践过,有较强的社区支持 有多层,在做写时复制操作时,如果文件比较大且存在于比较低的层,可能会慢一些 大并发但少IO的场景
OverlayFS 联合文件系统,并入内核主线,文件级存储 只有两层 不管修改的内容多少都会复制整个文件,对大文件进行修改显示要比小文件消耗更多的时间 大并发但少 IO的场景
Device Mapper 并入内核主线,块级存储 无论是大文件还是小文件都只复制需要修改的块,并不复制整个文件 不支持共享存储,当有多个容器读同一个文件时,需要生成多个复本,在很多容器启停的情况下可能会导致磁盘溢出 IO 密集的场景


相关文章
|
2天前
|
Docker 容器
docker 修改容器内的系统时间
【10月更文挑战第27天】docker 修改容器内的系统时间
46 2
|
8天前
|
Web App开发 iOS开发 Docker
Docker 容器的日志
【10月更文挑战第31天】
19 5
|
7天前
|
Kubernetes Cloud Native 开发者
云原生技术入门:Kubernetes和Docker的协作之旅
【10月更文挑战第22天】在数字化转型的浪潮中,云原生技术成为推动企业创新的重要力量。本文旨在通过浅显易懂的语言,引领读者步入云原生的世界,着重介绍Kubernetes和Docker如何携手打造弹性、可扩展的云环境。我们将从基础概念入手,逐步深入到它们在实际场景中的应用,以及如何简化部署和管理过程。文章不仅为初学者提供入门指南,还为有一定基础的开发者提供实践参考,共同探索云原生技术的无限可能。
18 3
|
5天前
|
存储 持续交付 虚拟化
|
8天前
|
存储 缓存 Docker
docker中挂载数据卷到容器
【10月更文挑战第16天】
17 2
|
10天前
|
存储 关系型数据库 MySQL
|
11天前
|
存储 Docker 容器
docker中挂载数据卷到容器
【10月更文挑战第13天】
17 2
|
12天前
|
运维 监控 数据可视化
Docker容器可视化管理工具 - WGCLOUD基础介绍
WGCLOUD是新一代运维监测平台,它可以监控Docker容器的各种性能数据,比如内存,cpu,Image,运行时间,运行状态,端口映射等信息
|
2天前
|
人工智能 Anolis 开发者
|
11天前
|
运维 Kubernetes 开发者
构建高效后端服务:微服务架构与容器化技术的结合
【10月更文挑战第18天】 在数字化转型的浪潮中,企业对后端服务的要求日益提高,追求更高的效率、更强的可伸缩性和更易于维护的系统。本文将探讨微服务架构与容器化技术如何结合,以构建一个既灵活又高效的后端服务体系。通过分析当前后端服务面临的挑战,介绍微服务和容器化的基本概念,以及它们如何相互配合来优化后端服务的性能和管理。本文旨在为开发者提供一种实现后端服务现代化的方法,从而帮助企业在竞争激烈的市场中脱颖而出。
16 0