在尝试在基于 Rockchip RK3568 的设备上，运行 Ubuntu 22.04 rootfs 并安装 Docker 时，我遇到了一系列问题。本博客在总结这些问题及其解决方案，为遇到类似问题的兄弟提供参考，如果我后续有碰到其他Docker 问题也会在此更新补充。
# 我的设备环境： root@btf:/$ docker --version Docker version 24.0.5, build 24.0.5-0ubuntu1~22.04.1 root@btf:/$ uname -a Linux btf 4.19.219 #7 SMP Fri Mar 22 10:46:23 CST 2024 aarch64 aarch64 aarch64 GNU/Linux root@btf:/$ cat /etc/issue Ubuntu 22.04 LTS \n \l
1. Docker 服务无法启动
root@btf:/$ systemctl status docker ○ docker.service - Docker Application Container Engine Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled) Active: inactive (dead) TriggeredBy: ● docker.socket Docs: https://docs.docker.com root@btf:/$ dockerd --debug INFO[2024-03-21T02:22:22.162686036Z] Starting up DEBU[2024-03-21T02:22:22.165772744Z] Listener created for HTTP on unix (/var/run/docker.sock) DEBU[2024-03-21T02:22:22.172340495Z] Golang's threads limit set to 14040 DEBU[2024-03-21T02:22:22.176763037Z] metrics API listening on /var/run/docker/metrics.sock DEBU[2024-03-21T02:22:22.190162497Z] Using default logging driver json-file DEBU[2024-03-21T02:22:22.193045622Z] No quota support for local volumes in /var/lib/docker/volumes: Filesystem does not support, or has not enabled quotas DEBU[2024-03-21T02:22:22.196496331Z] processing event stream module=libcontainerd namespace=plugins.moby INFO[2024-03-21T02:22:22.207613790Z] [graphdriver] trying configured driver: vfs DEBU[2024-03-21T02:22:22.208240873Z] Initialized graph driver vfs DEBU[2024-03-21T02:22:22.209004165Z] Max Concurrent Downloads: 3 DEBU[2024-03-21T02:22:22.209079415Z] Max Concurrent Uploads: 5 DEBU[2024-03-21T02:22:22.209110915Z] Max Download Attempts: 5 INFO[2024-03-21T02:22:22.209228749Z] Loading containers: start. DEBU[2024-03-21T02:22:22.209483665Z] Option DefaultDriver: bridge DEBU[2024-03-21T02:22:22.209541124Z] Option DefaultNetwork: bridge DEBU[2024-03-21T02:22:22.209575249Z] Network Control Plane MTU: 1500 DEBU[2024-03-21T02:22:22.210205832Z] processing event stream module=libcontainerd namespace=moby INFO[2024-03-21T02:22:22.230569417Z] unable to detect if iptables supports xlock: 'iptables --wait -L -n': `iptables/1.8.7 Failed to initialize nft: Protocol not supported` error="exit status 1" DEBU[2024-03-21T02:22:22.230980959Z] /usr/sbin/iptables, [-t filter -C FORWARD -j DOCKER-ISOLATION] DEBU[2024-03-21T02:22:22.240452543Z] /usr/sbin/iptables, [-t nat -D PREROUTING -m addrtype --dst-type LOCAL -j DOCKER] DEBU[2024-03-21T02:22:22.252465128Z] /usr/sbin/iptables, [-t nat -D OUTPUT -m addrtype --dst-type LOCAL ! --dst 127.0.0.0/8 -j DOCKER] DEBU[2024-03-21T02:22:22.264647171Z] /usr/sbin/iptables, [-t nat -D OUTPUT -m addrtype --dst-type LOCAL -j DOCKER] DEBU[2024-03-21T02:22:22.278666714Z] /usr/sbin/iptables, [-t nat -D PREROUTING] DEBU[2024-03-21T02:22:22.288415965Z] /usr/sbin/iptables, [-t nat -D OUTPUT] DEBU[2024-03-21T02:22:22.298152966Z] /usr/sbin/iptables, [-t nat -F DOCKER] DEBU[2024-03-21T02:22:22.308048342Z] /usr/sbin/iptables, [-t nat -X DOCKER] DEBU[2024-03-21T02:22:22.317894426Z] /usr/sbin/iptables, [-t filter -F DOCKER] DEBU[2024-03-21T02:22:22.327381177Z] /usr/sbin/iptables, [-t filter -X DOCKER] DEBU[2024-03-21T02:22:22.337190220Z] /usr/sbin/iptables, [-t filter -F DOCKER-ISOLATION-STAGE-1] DEBU[2024-03-21T02:22:22.348203846Z] /usr/sbin/iptables, [-t filter -X DOCKER-ISOLATION-STAGE-1] DEBU[2024-03-21T02:22:22.360229555Z] /usr/sbin/iptables, [-t filter -F DOCKER-ISOLATION-STAGE-2] DEBU[2024-03-21T02:22:22.374536390Z] /usr/sbin/iptables, [-t filter -X DOCKER-ISOLATION-STAGE-2] DEBU[2024-03-21T02:22:22.385013058Z] /usr/sbin/iptables, [-t filter -F DOCKER-ISOLATION] DEBU[2024-03-21T02:22:22.394474434Z] /usr/sbin/iptables, [-t filter -X DOCKER-ISOLATION] DEBU[2024-03-21T02:22:22.404029435Z] /usr/sbin/iptables, [-t nat -n -L DOCKER] DEBU[2024-03-21T02:22:22.413653269Z] /usr/sbin/iptables, [-t nat -N DOCKER] DEBU[2024-03-21T02:22:22.423293145Z] daemon configured with a 15 seconds minimum shutdown timeout DEBU[2024-03-21T02:22:22.423441020Z] start clean shutdown of all containers with a 15 seconds timeout... DEBU[2024-03-21T02:22:22.425325770Z] Cleaning up old mountid : start. INFO[2024-03-21T02:22:22.425624437Z] stopping event stream following graceful shutdown error="<nil>" module=libcontainerd namespace=moby DEBU[2024-03-21T02:22:22.426692812Z] Cleaning up old mountid : done. failed to start daemon: Error initializing network controller: error obtaining controller instance: failed to create NAT chain DOCKER: iptables failed: iptables -t nat -N DOCKER: iptables/1.8.7 Failed to initialize nft: Protocol not supported (exit status 1)
问题描述
在尝试启动 Docker 服务时，通过 systemctl status docker 命令发现服务处于 inactive (dead) 状态，无法启动。
解决方案
系统已经配置为使用 iptables-nft 作为默认的 iptables 实现。Docker 启动时仍然提示 iptables/1.8.7 Failed to initialize nft: Protocol not supported 错误，就算在kernel打开了正确的 iptables 版本，但 Docker 与 nftables 的集成仍然存在问题。
CONFIG_NETFILTER=y CONFIG_NETFILTER_ADVANCED=y CONFIG_NF_CONNTRACK=y CONFIG_NF_CONNTRACK_IPV4=y CONFIG_NF_CONNTRACK_PROC_COMPAT=y CONFIG_IP_NF_FILTER=y CONFIG_IP_NF_TARGET_REJECT=y CONFIG_IP_NF_NAT=y CONFIG_IP_NF_TARGET_MASQUERADE=y CONFIG_NF_NAT_IPV4=y CONFIG_NF_NAT_MASQUERADE_IPV4=y CONFIG_IP_NF_IPTABLES=y
2. Docker 守护进程启动问题
问题描述
在手动启动 Docker 守护进程 (dockerd) 时，遇到了与 iptables 和 nftables 相关的错误，提示无法初始化网络控制器。
解决方案
确认系统中 iptables 和 nftables 的配置和版本兼容性。我记得Ubuntu20.04 Docker 默认使用 iptables 管理网络规则，如果系统使用 nftables，可能需要进行额外的配置。
这个问题死活解决不了，因为我在RK3399 碰到过iptables的问题，后面是增加了许多kernel 宏才解决的，但是在RK3568失效了。 最后查到这篇帖子链接: ubuntu 22.04 iptables 运行失败解决方法
ubuntu 22.04默认使用nftables作为防火墙，而非iptables。
如果系统使用
nftables作为默认的防火墙管理工具，可以尝试将iptables配置为使用legacy模式，通过执行update-alternatives --set iptables /usr/sbin/iptables-legacy和update-alternatives --set ip6tables /usr/sbin/ip6tables-legacy命令来实现。
- 重新启动 Docker 守护进程并检查是否能够成功启动。
3. 系统服务 nftables 启动失败
root@btf:/$ systemctl status nftables × nftables.service - nftables Loaded: loaded (/lib/systemd/system/nftables.service; enabled; vendor preset: enabled) Active: failed (Result: exit-code) since Thu 2024-03-21 02:21:09 UTC; 3min 37s ago Docs: man:nft(8) http://wiki.nftables.org Process: 341 ExecStart=/usr/sbin/nft -f /etc/nftables.conf (code=exited, status=3) Main PID: 341 (code=exited, status=3) CPU: 82ms 3月 21 02:21:09 btf systemd[1]: Starting nftables... 3月 21 02:21:09 btf nft[341]: mnl.c:60: Unable to initialize Netlink sock…orted 3月 21 02:21:09 btf systemd[1]: nftables.service: Main process exited, co…ENTED 3月 21 02:21:09 btf systemd[1]: nftables.service: Failed with result 'exi…ode'. 3月 21 02:21:09 btf systemd[1]: Failed to start nftables. Hint: Some lines were ellipsized, use -l to show in full.
问题描述
在检查 nftables 服务状态时，发现服务启动失败，提示 Failed to start nftables。
解决方案
检查 nftables 配置文件 /etc/nftables.conf 的语法是否正确。可以使用 nft list ruleset 命令来测试配置文件的语法。确认内核是否支持 nftables，并且所有必要的 nftables 模块都已加载。可以通过 lsmod | grep nft 命令来检查。如果问题依旧存在，查看系统日志 journalctl -u nftables 以获取更多错误信息再继续调试，反正就是宏没打开。
4. Docker 容器运行时错误
root@btf:/root$ docker run -it ubuntu:18.04 bash docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error setting cgroup config for procHooks process: bpf_prog_query(BPF_CGROUP_DEVICE) failed: function not implemented: unknown. ERRO[0002] error waiting for container:
问题描述
尝试运行 Docker 容器时遇到 OCI runtime create failed 错误，提示与 cgroup 配置相关的问题，具体为 bpf_prog_query(BPF_CGROUP_DEVICE) failed: function not implemented。
解决方案
到这个问题基本上docker 已经能run、pull了，但是 Docker 容器运行时（如 runc）与宿主机的 cgroup 配置不兼容有关。这个问题折腾死我了 一度怀疑配置有问题，确保 Docker 和宿主机的 Linux内核cgroup 配置兼容。
容器初始化过程中，设置 cgroup 配置时遇到了问题，特别是与 BPF相关的功能。
最开始，我先用过check脚本检查docker环境，发现少打开了CGROUP_BPF ，打开之后也死活不行，最后看代码 kernel/init/Kconfig 里面有CGROUP_BPF , 但是这个依赖BPF和BPF_SYSCAL。
问题的根源在于内核配置中缺少了几个关键的 BPF 和 cgroup 相关的配置项。通过修改内核配置并启用以下选项，成功解决了问题：
CONFIG_CGROUP_BPF=yCONFIG_BPF=yCONFIG_BPF_SYSCALL=y
5. Docker 镜像拉取问题
btf@btf:/$ ls -l /var/run/docker.sock ls: 无法访问 '/var/run/docker.sock': 没有那个文件或目录 btf@btf:/$ sudo docker pull ubuntu:18.04 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
问题描述
尝试使用 docker pull ubuntu:18.04 拉取 Ubuntu 镜像时，遇到连接 Docker 守护进程失败的问题，提示 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
解决方案
确认 Docker 服务是否正在运行：使用 systemctl status docker 检查 Docker 服务的状态。如果服务未运行，使用 systemctl start docker 启动服务。
检查当前用户是否有权限访问 Docker 守护进程。通常，需要将用户添加到 docker 组：sudo usermod -aG docker $USER。之后，重新登录或重启系统以应用更改。
确认 Docker 守护进程的 socket 文件 /var/run/docker.sock 存在且具有正确的权限设置。
最后我重复部署几次之后好像这个问题，是因为安装的docker-ce 而不是docker.io ?
希望这些详细的解决方案能够帮助有遇到相同问题的兄弟解决在 Rockchip RK3568 设备上部署 Docker 时遇到的问题。
