在上一篇文章中详细介绍 Anolis OS 是首个原生支持镜像加速 Linux 内核,Nydus 镜像加速服务重新优化了现有的 OCIv1 容器镜像格式,重新定义镜像的文件系统,数据与元数据分离,实现按需加载,本文作为使用 Nydus 的教程将详细介绍在 Anolis OS 上部署 Nydus 的过程,以帮助用户熟悉 Nydus 的基本使用方法。
一、部署环境
本教程中使用的是阿里云上购买的 EC2 虚拟机,您也可以在本地或其他云环境中部署 Nydus。
操作系统:Anolis OS 8.4 (ANCK 64位) 内核版本:Linux 4.19 CPU:2 vCPU@3.5GHz 内存:8GB 软件依赖:Nydus 当前仅支持 Containerd,因此在需要使用 containerd 作为容器引擎
龙蜥安装使用 containerd 的方法。
dnf --enablerepo Plus install -y containerd
二、安装 Nydus
龙蜥社区已经集成 Nydus 最新 Stable 稳定版本,推荐使用龙蜥集成的软件包安装 Nydus。如果需要安装指定版本的 Nydus,可以下载上游开源版本的代码包安装(以下两种安装方式任选一种即可)。
2.1 使用龙蜥集成的软件包
dnf --enablerepo Plus install -y nydus-rs nydus-snapshotter
2.2 使用上游开源版本
- 下载 Nydus 的可执行文件。
从发布页面(见文末链接1)获取最新的压缩包,并解压。
wget https://github.com/dragonflyoss/image-service/releases/download/v2.1.0-alpha.4/nydus-static-v2.1.0-alpha.4-linux-amd64.tgz tar -xzvf nydus-static-v2.1.0-alpha.4-linux-amd64.tgz
- 下载 Nydus Snapshotter 的可执行文件。
从发布页面(见文末链接2)获取最新的压缩包,并解压。
wget https://github.com/containerd/nydus-snapshotter/releases/download/v0.2.4/nydus-snapshotter-v0.2.4-x86_64.tgz tar -xzvf nydus-snapshotter-v0.2.4-x86_64.tgz mv nydus-snapshotter/containerd-nydus-grpc nydus-static/containerd-nydus-grpc
- 选择 Nydus 运行模式。
Nydus 加速框架支持了三种运行模式,以支持不同场景下的镜像按需加载:
- 通过 FUSE 提供给 RunC 这类容器运行时的按需加载能力,也是 Nydus 目前最常用的模式;
- 通过 VirtioFS 承载 FUSE 协议,支持基于 VM 的容器运行时,例如 Kata 等,为 VM Guest 里的容器提供 RootFS 按需加载能力;
- 通过内核态的 EROFS 只读文件系统提供 RootFS,目前 Nydus 的 EROFS 格式支持已经进入了 Linux 5.16 主线,其内核态缓存方案 erofs over fscache 也已经合入 Linux 5.19-rc1 主线,内核态方案可以减少上下文切换及内存拷贝开销,在性能有极致要求的情况下可以用这种模式。
由于第一种模式的环境依赖最少,比较适合演示。因此在这里我们选择 fuse 模式,将 nydusd 二进制文件中的 nydusd-fusedev 重命名为 nydusd。
cd nydus-static mv nydusd-fusedev nydusd
- 安装可执行文件。
sudo cp nydusd nydus-image /usr/bin sudo cp nydusify containerd-nydus-grpc /usr/bin sudo cp ctr-remote nydus-overlayfs /usr/ cd ..
三、启动 Nydus Snapshotter
3.1 写入配置文件
Nydus 提供了一个容器化的远程快照管理器 containerd-nydus-grpc 来准备容器 rootfs 与 nydus 格式的镜像。要启动它,首先将 nydusd 配置保存到 /etc/nydusd-config.json:
sudo tee /etc/nydusd-config.json > /dev/null << EOF { "device": { "backend": { "type": "registry", "config": { "scheme": "https", "skip_verify": false, "timeout": 5, "connect_timeout": 5, "retry_limit": 2 } }, "cache": { "type": "blobcache", "config": { "work_dir": "cache" } } }, "mode": "direct", "digest_validate": false, "iostats_files": false, "enable_xattr": true, "fs_prefetch": { "enable": true, "threads_count": 4 } } EOF
3.2 启动远程快照管理器
新开一个终端运行 containerd-nydus-grpc。
sudo /usr/bin/containerd-nydus-grpc \ --config-path /etc/nydusd-config.json \ --shared-daemon \ --log-level info \ --root /var/lib/containerd/io.containerd.snapshotter.v1.nydus \ --cache-dir /var/lib/nydus/cache \ --address /run/containerd/containerd-nydus-grpc.sock \ --nydusd-path /usr/bin/nydusd \ --nydusimg-path /usr/bin/nydus-image \ --log-to-stdout
cache-dir参数表示本地 blob 缓存根目录,如果未设置,会默认为root+ "/cache"。它会覆盖 nydusd-config.json 中的 device.cache.config.work_dir。
四、配置 Containerd
4.1 将以下内容添加到 containerd 配置中(默认为/etc/containerd/config.toml):
[proxy_plugins] [proxy_plugins.nydus] type = "snapshot" address = "/run/containerd/containerd-nydus-grpc.sock" [plugins."io.containerd.grpc.v1.cri".containerd] snapshotter = "nydus" disable_snapshot_annotations = false
4.2 重新启动 Contained。
配置更新后需要重启 Contained 服务。
systemctl restart containerd
五、启动 Nydus 镜像格式的容器
这里展示如何使用 crictl 启动一个 Nydus 镜像格式的容器。
5.1 编写 sandbox yaml 文件 nydus-sandbox.yaml,往 POD 中传递 Nydus annotation。
metadata: attempt: 1 name: nydus-sandbox namespace: default log_directory: /tmp linux: security_context: namespace_options: network: 2 annotations: "io.containerd.osfeature": "nydus.remoteimage.v1"
5.2 编写容器 yaml 文件 nydus-container.yaml,指定使用的容器镜像。
metadata: name: nydus-container image: image: cloud-native-sig-registry.cn-hangzhou.cr.aliyuncs.com/openanolis/anolisos:8.6-x86_64-nydus command: - /bin/sleep args: - 600 log_path: container.1.log
这里我们使用了龙蜥云原生镜像仓库中已经集成的 Anolis 8.6 的镜像作为测试镜像。 5.3 拉取镜像并启动容器。
date crictl pull cloud-native-sig-registry.cn-hangzhou.cr.aliyuncs.com/openanolis/anolisos:8.6-x86_64-nydus pod=`crictl runp nydus-sandbox.yaml` container=`crictl create $pod nydus-container.yaml nydus-sandbox.yaml` crictl start $container crictl ps date
这里可以看到,采用 Nydus 镜像仅使用 2 秒便完成了容器镜像的拉取和容器启动的过程。在同等的条件下,我们创建一个 OCIv1 的镜像对比一下,使用的依然是 anolis 8.6 的镜像,镜像的内容与上述使用的 nydus 完全一致。yaml 文件编写如下:
metadata: attempt: 1 name: normal-sandbox namespace: default log_directory: /tmp linux: security_context: namespace_options: network: 2
metadata: name: normal-container image: image: cloud-native-sig-registry.cn-hangzhou.cr.aliyuncs.com/openanolis/anolisos:8.6 command: - /bin/sleep args: - 600 log_path: container.1.log
采用如下的命令:
date crictl pull cloud-native-sig-registry.cn-hangzhou.cr.aliyuncs.com/openanolis/anolisos:8.6 pod=`crictl runp normal-sandbox.yaml` container=`crictl create $pod normal-container.yaml normal-sandbox.yaml` crictl start $container crictl ps date
可以看到,同等环境下,使用 OCIv1 镜像格式启动 Anolis 8.6 的版本需要10 秒,是 Nydus 的 5 倍。
六、转换并启动 Nydus 镜像
这里展示转换 Nydus 镜像并推送到您的镜像仓库中去,为了能够登录镜像仓库,我们采用 nerdctl 工具进行配置
6.1 安装 Nerdctl 和 CNI plugin。
Nerdctl 是一种与 docker 兼容的命令行,但是由于它能够支持启动 Nydus 镜像,因此我们在这里选择使用 Nerdctl。由于容器在运行中可能需要依赖一些插件,所以我们同时安装 CNI plugin。
dnf update -y anolis-repos && yum install -y anolis-experimental-release && yum install -y nerdctl dnf install -y containernetworking-plugins
使用 nerdctl login 进行登录,用于仓库认证,当然,您可以采用 docker login 方式登录。
nerdctl login --username ${your username} --password xxx
6.2 将镜像转换为 Nydus 格式,并推送至远程镜像仓库。
nydusify convert --nydus-image /usr/bin/nydus-image --source ${your image} --target ${your registry address}/${image name}:${tag}
按照操作完成以上步骤,恭喜,您已经成功在 Anolis OS 上完成了 Nydus 镜像加速方案的部署!如果后续还有疑问,请扫描下方二维码或搜索钉钉群号(44701621)入群交流。
参考链接:
1. Nydus软件包发布页面:
https://github.com/dragonflyoss/image-service/releases/latest
2.containerd 下 nydus snapshotter 发布页面:
https://github.com/containerd/nydus-snapshotter/releases/tag/v0.2.4
3. Nydus 的更多技术细节:
https://developer.aliyun.com/article/971522
4.Nydus 更详细的部署说明:
https://github.com/dragonflyoss/image-service/blob/master/docs/containerd-env-setup.md
—— 完 ——
加入社群
加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码。欢迎开发者/用户加入龙蜥社区(OpenAnolis)交流,共同推进龙蜥社区的发展,一起打造一个活跃的、健康的开源操作系统生态!
关于龙蜥社区
龙蜥社区(OpenAnolis)由企事业单位、高等院校、科研单位、非营利性组织、个人等在自愿、平等、开源、协作的基础上组成的非盈利性开源社区。龙蜥社区成立于 2020 年 9 月,旨在构建一个开源、中立、开放的Linux 上游发行版社区及创新平台。
龙蜥社区成立的短期目标是开发龙蜥操作系统(Anolis OS)作为 CentOS 停服后的应对方案,构建一个兼容国际 Linux 主流厂商的社区发行版。中长期目标是探索打造一个面向未来的操作系统,建立统一的开源操作系统生态,孵化创新开源项目,繁荣开源生态。
目前,Anolis OS 8.6 已发布,更多龙蜥自研特性,支持 X86_64 、RISC-V、Arm64、LoongArch 架构,完善适配 Intel、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密支持。
欢迎下载:
https://openanolis.cn/download
加入我们,一起打造面向未来的开源操作系统!