高性能网络SIG月度动态: 推进SMC支持基于eBPF透明替换和内存水位限制等多项功能支持

简介: 一键查看高性能网络 SIG 10 月各项目进展。

本次月报总结了 SIG 在 9 月和 10 月的工作进展,聚焦在 ANCK 网络安全和稳定性问题修复以及 SMC 新特性的推进。

一、关键进展

1. 完成上游 SMC 共享内存使用统计的支持,并回合到 ANCK 5.10。

2. 推进上游 SMC 基于 eBPF 透明替换功能的合入。

3. 完成 ANCK 5.10 中 SMC 共享内存水位限制功能的开发与合入。

4. 修复 ANCK 通用内核网络和 SMC 的多个安全及稳定性问题。

二、ANCK 通用内核网络协议栈

修复

ANCK 5.10 内核修复了如下问题,预计随 018 版本发布:

  • 修复 netem qdisc 可能出现 UAF 的问题。(PR3824,PR3835)
  • 修复 sockmap 可能引起 soft lockup 的问题。(PR4000)
  • 修复 qdisc 的一处 panic 风险。(PR4003)

安全

ANCK 5.10 修复了如下 CVE,预计随 018 版本发布:

CVE-2024-36889(PR3942)

CVE-2024-36883(PR3941)

CVE-2024-46771(PR3898)

CVE-2024-46783(PR3899)

CVE-2024-46679(PR3925)

CVE-2024-46679(PR3925)

CVE-2024-46800(PR3835)

CVE-2024-41040(PR3885)

CVE-2024-45018(PR3881)

CVE-2024-44934(PR3935)

CVE-2024-36971(PR3934)

CVE-2024-44987(PR3880)

CVE-2024-42284(PR3926)

CVE-2024-44974(PR3928)

CVE-2024-43861(PR3875)

CVE-2024-43879(PR3932)

CVE-2024-42271(PR3930)

 

三、SMC

双月 SMC 相关工作聚焦于上游共享内存统计和 eBPF 透明替换特性的推动,以及 ANCK 中的内存水位限制特性开发和稳定性问题修复。

共享内存统计

上游 SMC 的统计指标中缺少对 LGR 当前持有的共享内存的统计,为此 SIG 向上游 Linux 内核[1]和 smc-tools 用户态工具[2]提交 LGR 和 net namespace 维度共享内存使用统计功能,目前均已合入。相关内核补丁也已回合至 ANCK 内核[3],自 5.10-17.3 版本后携带。

eBPF 透明替换

一直以来,上游 SMC 仅提供了 smc_run 这一进程维度透明替换 TCP 的功能,但这种方式存在静态链接程序不可用以及替换维度单一的问题。因此 SIG 向上游提交了基于 eBPF 的灵活替换方案[4],旨在提供多种维度(如 netns 或进程)透明替换以及基于端口等策略灵活替换 TCP 的能力。

共享内存水位限制

SMC 使用共享内存通信来获得更好的网络性能,但也带来一定的内存压力。因此 SIG 向 ANCK 5.10 提交了 SMC 共享内存水位限制的功能[5],用户可通过 sysctl 设置 node 或 net namespace 维度的共享内存使用上限,达到上限后将回退回 TCP,以避免过多的内存消耗。此特性自 5.10-17.3 版本后携带,目前属于预览特性,后续将推动贡献到上游。

稳定性问题修复

修复了 ANCK 5.10 SMC 中内存泄漏[6]相关问题。

相关链接

[1]https://lore.kernel.org/netdev/20240814130827.73321-1-guwen@linux.alibaba.com/

[2] https://github.com/ibm-s390-linux/smc-tools/pull/11

[3] https://gitee.com/anolis/cloud-kernel/pulls/3766

[4]https://lore.kernel.org/netdev/1729737768-124596-1-git-send-email-alibuda@linux.alibaba.com/

[5] https://gitee.com/anolis/cloud-kernel/pulls/3894

[6] https://gitee.com/anolis/cloud-kernel/pulls/3847


注:更多龙蜥 SIG 月度动态可点击这里查看。


高性能网络 SIG(Special Interest Group)在这个万物互联的时代,云上的网络通信效率对各种服务至关重要,高性能网络兴趣组致力于利用 XDP、RDMA、VIRTIO 等新高效通信技术,结合软硬件一体化的思想,打造高性能网络协议栈,提升云计算时代数据中心应用的网络性能。

高性能网络 SIG 主页:https://openanolis.cn/sig/high-perf-network

—— 完 ——

相关文章
基于Reactor模型的高性能网络库之地址篇
这段代码定义了一个 InetAddress 类,是 C++ 网络编程中用于封装 IPv4 地址和端口的常见做法。该类的主要作用是方便地表示和操作一个网络地址(IP + 端口)
476 58
|
网络协议 算法 Java
基于Reactor模型的高性能网络库之Tcpserver组件-上层调度器
TcpServer 是一个用于管理 TCP 连接的类,包含成员变量如事件循环(EventLoop)、连接池(ConnectionMap)和回调函数等。其主要功能包括监听新连接、设置线程池、启动服务器及处理连接事件。通过 Acceptor 接收新连接,并使用轮询算法将连接分配给子事件循环(subloop)进行读写操作。调用链从 start() 开始,经由线程池启动和 Acceptor 监听,最终由 TcpConnection 管理具体连接的事件处理。
424 2
|
负载均衡 算法 安全
基于Reactor模式的高性能网络库之线程池组件设计篇
EventLoopThreadPool 是 Reactor 模式中实现“一个主线程 + 多个工作线程”的关键组件,用于高效管理多个 EventLoop 并在多核 CPU 上分担高并发 I/O 压力。通过封装 Thread 类和 EventLoopThread,实现线程创建、管理和事件循环的调度,形成线程池结构。每个 EventLoopThread 管理一个子线程与对应的 EventLoop(subloop),主线程(base loop)通过负载均衡算法将任务派发至各 subloop,从而提升系统性能与并发处理能力。
634 3
基于Reactor模型的高性能网络库之Tcpconnection组件
TcpConnection 由 subLoop 管理 connfd,负责处理具体连接。它封装了连接套接字,通过 Channel 监听可读、可写、关闭、错误等
357 1
|
运维 Kubernetes 前端开发
如何用 eBPF 实现 Kubernetes 网络可观测性?实战指南
本文深入探讨了Kubernetes网络观测的挑战与eBPF技术的应用。首先分析了传统工具在数据碎片化、上下文缺失和性能瓶颈上的局限性,接着阐述了eBPF通过零拷贝观测、全链路关联和动态过滤等特性带来的优势。文章进一步解析了eBPF观测架构的设计与实现,包括关键数据结构、内核探针部署及生产环境拓扑。实战部分展示了如何构建全栈观测系统,并结合NetworkPolicy验证、跨节点流量分析等高级场景,提供具体代码示例。最后,通过典型案例分析和性能数据对比,验证了eBPF方案的有效性,并展望了未来演进方向,如智能诊断系统与Wasm集成。
702 0
|
机器学习/深度学习 存储 算法
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
反向传播算法虽是深度学习基石,但面临内存消耗大和并行扩展受限的问题。近期,牛津大学等机构提出NoProp方法,通过扩散模型概念,将训练重塑为分层去噪任务,无需全局前向或反向传播。NoProp包含三种变体(DT、CT、FM),具备低内存占用与高效训练优势,在CIFAR-10等数据集上达到与传统方法相当的性能。其层间解耦特性支持分布式并行训练,为无梯度深度学习提供了新方向。
1004 1
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
基于Reactor模型的高性能网络库之Poller(EpollPoller)组件
封装底层 I/O 多路复用机制(如 epoll)的抽象类 Poller,提供统一接口支持多种实现。Poller 是一个抽象基类,定义了 Channel 管理、事件收集等核心功能,并与 EventLoop 绑定。其子类 EPollPoller 实现了基于 epoll 的具体操作,包括事件等待、Channel 更新和删除等。通过工厂方法可创建默认的 Poller 实例,实现多态调用。
546 60
基于Reactor模型的高性能网络库之Channel组件篇
Channel 是事件通道,它绑定某个文件描述符 fd,注册感兴趣的事件(如读/写),并在事件发生时分发给对应的回调函数。
583 60
|
安全 调度
基于Reactor模型的高性能网络库之核心调度器:EventLoop组件
它负责:监听事件(如 I/O 可读写、定时器)、分发事件、执行回调、管理事件源 Channel 等。
570 57

热门文章

最新文章