docker启动容器提示read init-p: connection reset by peer: unknown问题

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: docker启动容器提示read init-p: connection reset by peer: unknown问题


问题背景:某客户反馈ECS服务器上服务访问不到,导致业务异常,业务是通过单机Docker 部署的,但是目前发现docker 容器没有启动,start拉不起来,异常截图如下



问题排查:


1 从错误里面看是docker-shim去调用runc出现了异常,看起来是runc没有初始化成功,这个地方我想大家会有疑问,runc这个东西是干什么的,他在docker里面起到什么作用?


runc作为容器的运行时,现在作为独立的项目来进行发展,runc提供一套简单的容器运行环境,包括进程的命名空间、cgroups和文件系统权限等管理的功能,runc是基于oci标准的产物,可以让大家都通过统一的接口来进行运行时的操作。其本质的管理工作也是最主要的几个重要的函数clone,unshare和setns等重要的操作函数。



2 第二步就是验证下猜想runc没有拉起来,先把docker debug日志开启下,方法是:修改/etc/docker/daemon.json中增加"debug": true, 然后systemctl reload docker,完毕后执行 docker run -it --rm ubuntu echo OK 发现问题复现,并且看日志以及ps -aux |grep runc 看是为空的,证明runc没拉起来


3 继续过滤message日志,看下debug里面的输出,过滤runc的动作,并且搭配dmesg 打印内核级别的日志看,发现是run panic了




从提示的dumpd core里面看是libsystem.so这个库引发的, 其实我这个时候有点懵逼的,完全陷入知识盲区了,对于完全模式的组件没办法用原始最笨的方法 strace -e trace 去做追踪对比,其实这里之前得到一个非常有效的信息,就是用户机器被入侵了,虽然心理大概率敢肯定lib库被改了,让用户初始化,不过作为技术人员来说不拿出点证据总觉得缺点是什么!



问题总结:


经过多次strace 追踪对比,发现libsystem 库应用的不对,怎么去找ld.so.perload了!这个地方其实有点经验的意思了,之前处理过多次挖矿的问题,这个目录一般都是挖矿入侵创建的,找到异常库后,先注释,然后为了保险,先把ld.so.cache备份改名,ldconfig重新生成


动态库注释后,重启docker 相关容器已经拉起来了,重新捞日志发现panic现象消失,不过被入侵的机器里面很多库还是被改了,推荐考虑做好数据备份,重新初始化环境,然后做下安全加固

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
9天前
|
监控 NoSQL 时序数据库
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
135 77
|
17天前
|
监控 Docker 容器
在Docker容器中运行打包好的应用程序
在Docker容器中运行打包好的应用程序
|
1天前
|
关系型数据库 应用服务中间件 PHP
实战~如何组织一个多容器项目docker-compose
本文介绍了如何使用Docker搭建Nginx、PHP和MySQL的环境。首先启动Nginx容器并查看IP地址,接着启动Alpine容器并安装curl测试连通性。通过`--link`方式或`docker-compose`配置文件实现服务间的通信。最后展示了Nginx配置文件和PHP代码示例,验证了各服务的正常运行。
13 2
实战~如何组织一个多容器项目docker-compose
|
11天前
|
数据建模 应用服务中间件 nginx
docker替换宿主与容器的映射端口和文件路径
通过正确配置 Docker 的端口和文件路径映射,可以有效地管理容器化应用程序,确保其高效运行和数据持久性。在生产环境中,动态替换映射配置有助于灵活应对各种需求变化。以上方法和步骤提供了一种可靠且易于操作的方案,帮助您轻松管理 Docker 容器的端口和路径映射。
49 3
|
17天前
|
负载均衡 网络协议 算法
Docker容器环境中服务发现与负载均衡的技术与方法,涵盖环境变量、DNS、集中式服务发现系统等方式
本文探讨了Docker容器环境中服务发现与负载均衡的技术与方法,涵盖环境变量、DNS、集中式服务发现系统等方式,以及软件负载均衡器、云服务负载均衡、容器编排工具等实现手段,强调两者结合的重要性及面临挑战的应对措施。
44 3
|
17天前
|
存储 安全 数据安全/隐私保护
Docker 容器化应用管理更加高效,但数据安全和业务连续性成为关键。
在数字化时代,Docker 容器化应用管理更加高效,但数据安全和业务连续性成为关键。本文探讨了 Docker 应用的备份与恢复策略,涵盖备份的重要性、内容、方法及常见工具,制定备份策略,恢复流程及注意事项,并通过案例分析和未来趋势展望,强调备份与恢复在保障应用安全中的重要性。
25 2
|
17天前
|
存储 缓存 监控
Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
51 7
|
17天前
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
27 5
|
17天前
|
开发框架 安全 开发者
Docker 是一种容器化技术,支持开发者将应用及其依赖打包成容器,在不同平台运行而无需修改。
Docker 是一种容器化技术,支持开发者将应用及其依赖打包成容器,在不同平台运行而无需修改。本文探讨了 Docker 在多平台应用构建与部署中的作用,包括环境一致性、依赖管理、快速构建等优势,以及部署流程和注意事项,展示了 Docker 如何简化开发与部署过程,提高效率和可移植性。
42 4
|
17天前
|
存储 安全 数据中心
Docker 容器凭借轻量级和高效的特性,成为应用部署的重要工具
Docker 容器凭借轻量级和高效的特性,成为应用部署的重要工具。本文探讨了 Docker 如何通过 Namespace 和 Cgroups 实现 CPU、内存、网络和存储资源的隔离,提高系统安全性和资源利用率,以及面临的挑战和应对策略。
33 1