Ubantu docker学习笔记(五)容器底层技术

简介: Ubantu docker学习笔记(五)容器底层技术

一、Docker基本架构

docker架构采用标准的c/s架构,服务端用于管理数据,客户端用于用户交互,服务端和客户端可以在同一台机器上面运行,也可以在不同的机器上运行。

1.1 服务端

一般运行于后台,接受客户端的请求,只允许本地的root和docker用户组成员访问,可以通过-H来修改参数监听方式。同时支持HTTPS的方式来验证。

1.2 客户端

用户不可以和服务器直连,需要通过Docker客户端执行命令,与Docker服务器进行交互。与docker服务端不同的是,等待服务器放回的消息,收到消息后会马上结束。再执行的时候,需要再次调用客户端程序。同时可以执行命令指定服务器地址。

可以通过

docker version

去查看链接情况

如果没有则需要指定其到正确通信位置,实例代码如下

docker -H tcp://127.0.0.1:1234 version

二、Namespace

Namespace其实就相当于修改了看待计算机的视图,对于用户看到的线程进行了限制,比如说,我在外面运行了一个进程号为100的centos,但是在centos的内部,其进程号是重新开始计算的

我们通过一个小例子来操作一下

docker run -it centos /bin/bash
ps

在镜像容器内部,我们的进程从1重新开始

ctrl+q+p(退出但不终止容器)
docker ps
ps aux | grep d7ebd94af48f
ps a 显示现行终端机下的所有程序,包括其他用户的程序
ps u 以用户为主的格式来显示程序状况
ps x 显示所有程序,不以终端机来区分

找到刚刚这个镜像的id后,再去去打印其所有进程,很清楚的可以看到,centos的进程号为2799,但是其内部的进程号为1

2.1 Namespace的类别

Linux使用了6种namespace,分别对应6种资源: Mount、 UTS、IPC、PID、Network和User。

1.Mount namespace

其可以将文件系统的目录和另外一个目录关联起来,让容器看上去拥有了一整个文件系统,我们操作只会在当前容器生效不会影响其他容器。

2.UTS namespace

简单的来说可以让容器拥有自己的名字

docker run -h xiaotang -it centos

3.IPC namespace

让容器有共享的内存和信号量,使其在同一Namespace下可以互相通信

4.PID namespace

主要用来隔离我们的进程ID,使其可以重复且相互之间不受影响,也就是我们之前上面的例子啦,如果比喻成父子关系的话也就是,所有的父亲可以看到自己的子进程,子看不到父,楚门的世界啊哈哈哈哈。

5.Network namespace

让我们的容器拥有独立的网卡、ip和路由

6.Usernamespace

主要用来隔离和User权限相关的Linux资源,包括User ID和Group ID,用来管理用户和划分权限。

2.2 Namespace的劣势

1.隔离不彻底

多个容器使用的依旧是宿主机的内核,在windows宿主机上用低版本的Linux运行较高版本的Linux,行不通

2.部分资源不可以被Namespace化

时间,宿主机和容器时间保持一致

3.安全问题

因为共享内核,容器中应用暴露,攻击面大。可以通过一些技术来调整,但通常情况下不知道应该禁用哪些系统调用。

三、Cgroups

虽然我们使用namespace所限制,但是在外部看来,容器里面的进程会是一个整体,和宿主机上其他的资源依旧是竞争关系,因此依据有可能会把所有资源耗尽。Cgroups的设置,可以限制单个进程或者多个进程使用资源分配管理的机制,如上一小节中,我们设置cpu时间以及I/O读取限制,都属于其中的一种。

举个例子吧

docker run -it --cpu-shares 521 progrium/stress -c 1

然后我们

ls  /sys/fs/cgroup/cpu/docker

可以看到会有一个容器进程ip的目录

进入,然后打开里面的

cat cpu.shares

然后就可以看到我们刚刚分配的内存资源

3.1 Cgroups的限制能力

子系统 功能
blkio 该子系统为块设备设定输入/输出限制,如物理设备(磁盘、固态硬盘、USB 等 )。
cpu 该子系统使用调度程序提供对 CPU的 Cgroups 任务访问
cpuacct 该子系统自动生成Cgroups 中任务所使用的 CPU 报告
cpuset 该子系统为 Cgroups 中的任务分配独立CPU(在多核系统)和内存节点。
devuces 该子系统可允许或者拒绝 Cgroups 中的任务访问设备
freezer 该子系统挂起或者恢复 Cgroups 中的任务
memory 该子系统设定 Cgroups 中任务的内存限制,并自动生成由那些任务使用的内存资源报告
net_cls 该子系统使用等级识别符标记网络数据包,可允许 Linux 流量控制程序识别从具体 Cgroups中生成数据包
ns 该子系统提供了一个将进程分组到不同命名空间的方法

Cgroups对用户暴露出来的操作接口是文件系统,会在/sys/fs/cgroups的路径下,可以进行查看

mount -t cgroupscd 
cd /sys/fs/cgroup/cpu
ls

3.2 实例验证

cd /sys/fs/cgroup/cpu
mkdir container
ls container/

然后去跑满cpu

while :; do :; done &
top

cat /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us
cat /sys/fs/cgroup/cpu/container/cpu.cfs_period_us

现在我们打开限制,使其只能使用20%的cpu带宽,然后注意把我们刚刚top里面的进程号写入tasks

echo 20000 > /sys/fs/cgroup/cpu/container/cpu.cfs_quota_us
echo 21097 > /sys/fs/cgroup/cpu/container/tasks

即我们可以通过为每一个容器创建控制组,加入到task文件中,来进行限制

docker run -it -d --cpu-period=100000 --cpu-quota=20000 centos /bin/bash

启动后也可以在在我们的控制组里面看到对应文件啦

cd /sys/fs/cgroup/cpu/docker
ls
cd 你的进程号
cat cpu.cfs_quota_us
cat cpu.cfs_period_us

3.3 Cgroups的劣势

在proc文件中,用户可以直接访问这些文件,但是用户在容器中中,使用top查看的会是宿主机的数据

四、Docker文件系统

4.1可读可写层的工作原理

docker镜像采用的是层级结构,通过docker命令一层一层通过docker commit来形成只读层,我们容器所有的操作都是在可读可写层上进行操作,直接删除容器后,可读可写层也会随着删除,可以用docker commit,来形成只读层。

1.写时复制

cow技术相当于直接共用容器中的只读层来节约空间,我们要进行操作时只需要把要写的文件复制到自己的文件系统进行修改

2.分时复制

用时分配是先前没有分配空间,只有在写入一个新文件的时候才进行分配

4.2docker存储驱动

Docker 提供了多种存储驱动(Storage Driver)来存储镜像,常用的几种 Storage Driver 是 AUFS、OverlayFS、Device Mapper、Btrfs、ZFS。

Docker存储驱动 宿主机文件系统
Overlay, Overlay2 XFS(ftype=1), EXT4
AUFS XFS,EXT4
Device Mapper direct-lvm
Btrfs Btrfs
ZFS ZFS
docker info

存储驱动 特点 优点 缺点 适用场合
AUFS 联合文件系统,未并入内核主线,文件级存储 作为 Docker 的第一个存储系统,有较长历史,比较文档,且在大量的生产中实践过,有较强的社区支持 有多层,在做写时复制操作时,如果文件比较大且存在于比较低的层,可能会慢一些 大并发但少IO的场景
OverlayFS 联合文件系统,并入内核主线,文件级存储 只有两层 不管修改的内容多少都会复制整个文件,对大文件进行修改显示要比小文件消耗更多的时间 大并发但少 IO的场景
Device Mapper 并入内核主线,块级存储 无论是大文件还是小文件都只复制需要修改的块,并不复制整个文件 不支持共享存储,当有多个容器读同一个文件时,需要生成多个复本,在很多容器启停的情况下可能会导致磁盘溢出 IO 密集的场景


相关文章
|
3天前
|
前端开发 安全 数据库
Web架构&前后端分离站&Docker容器站&集成软件站&建站分配
Web架构&前后端分离站&Docker容器站&集成软件站&建站分配
|
2天前
|
存储 运维 监控
容器化技术在现代运维中的应用与挑战
【6月更文挑战第20天】随着技术的迭代和云计算的普及,容器化技术已经成为现代运维不可或缺的一部分。本文将深入探讨容器化技术的核心优势、面临的主要挑战以及在企业运维中的实际应用案例,旨在为运维人员提供容器化部署和维护的实用指南。
|
17小时前
|
NoSQL Redis Docker
使用 Docker Compose 接管现有容器的文档
使用 Docker Compose 接管现有容器的文档
11 2
|
3天前
|
Cloud Native 安全 Docker
云上攻防-云原生篇&Docker安全&系统内核&版本&CDK自动利用&容器逃逸
云上攻防-云原生篇&Docker安全&系统内核&版本&CDK自动利用&容器逃逸
|
17小时前
|
存储 关系型数据库 MySQL
解读 MySQL 容器信息:`docker inspect` 字段详解
解读 MySQL 容器信息:`docker inspect` 字段详解
17 1
|
1天前
|
存储 测试技术 Linux
Docker技术仓库
本文详细介绍了Docker中数据卷的作用、特点、管理方式,包括bindmounts和volumes挂载、Dockerfile中的数据卷使用、Docker仓库(公有与私有)以及DockerCompose在多容器应用中的应用。
|
1天前
|
应用服务中间件 Go 数据库
Docker核心技术(二)
Docker核心功能包括`docker container inspect`用于检查容器详情,`docker logs`显示容器日志,`docker attach`连接容器。容器与镜像是独立的,镜像是静态的执行环境,容器是动态实例。Docker提供多种网络模式,如默认的bridge、host、none、overlay和macvlan。管理网络的命令有`docker network ls`(列出网络)、`docker network create`(创建网络)、`docker network rm`(删除网络)和`docker network inspect`(检查网络详情)。
|
1天前
|
NoSQL 关系型数据库 Shell
Docker核心技术(一)
本文介绍了Docker的核心技术——容器,包括容器的定义、与虚拟机的区别,以及容器的生命周期阶段(创建、运行、暂停、停止和删除)。同时详细讲解了容器的网络管理和Docker提供的五种网络驱动模式。
|
1天前
|
网络协议 Linux Docker
宿主机的容器是如何通过docker0通信的?
宿主机的容器是如何通过docker0通信的?
|
3天前
|
运维 Kubernetes 监控
现代后端开发中的微服务架构与容器化技术
随着信息技术的迅猛发展,现代软件开发趋向于采用微服务架构与容器化技术。本文探讨了微服务架构的优势,以及容器化技术如何促进开发、部署和扩展的效率,进而提升应用程序的可靠性和可维护性。
12 0

热门文章

最新文章