高性能网络SIG月度动态:龙蜥5.10内核将首次提供SMC-D本地通信试验性支持

简介: 龙蜥5.10内核将首次提供SMC-D本地通信试验性支持等。

高性能网络 SIG(Special Interest Group)在云计算时代,软硬件高速发展,云原生、微服务等新的应用形态兴起,让更多的数据在进程之间流动,而网络则成为了这些数据流的载体,在整个云时代扮演着前所未有的重要角色。在这个万物互联的时代,云上的网络通信效率对各种服务至关重要,高性能网络兴趣组致力于利用 XDP、RDMA、VIRTIO 等新高效通信技术,结合软硬件一体化的思想,打造高性能网络协议栈,提升云计算时代数据中心应用的网络的性能。

01 SIG 整体进展

本月高性能网络 SIG 的主要工作聚焦在 ANCK 内核网络、SMC 和 virtio 上。

本月关键进展:

1. SIG 本月与 IBM SMC 小组通过多次会议与邮件确定了 SMC-D 虚拟 ISM 设备支持所需的全部协议修改。此特性将作为 supplemental feature 进入 SMCv2.1 协议中。该特性将从 ANCK-016 开始提供 Experimental 的支持。

2. SIG 本月发起了新的 virtio-net: support the RSS context 提案,用以支持 virtio 队列流量隔离需求;以及 virtio-net: support distinguishing between partial and full checksum 提案,用于实现在加载 XDP 的同时保持设备的 checksum 卸载能力。目前处在上游讨论与 review 中。

02 ANCK 内核网络

安全

本月网络方向共计修复 9 个 CVE,覆盖 sctp/sched/netfilter/tls/mpls 等模块,CVE 列表:

CVE-2023-1074,CVE-2022-47929,CVE-2023-32233,CVE-2023-1075,CVE-2023-26545,CVE-2023-28466,CVE-2023-1380,CVE-2023-4563,CVE-2023-40283,CVE-2023-4128。

03 SMC

本月 SIG 在 SMC 上工作主要聚焦于 SMC-D 虚拟设备协议拓展和 loopback-ism 的上游代码实现。

SMC-D v2.1 协议拓展与 loopback-ism 代码实现

本月 SIG 与 IBM SMC 小组的多次会议及邮件中最终确认了 SMC-D 虚拟设备所需的协议修改。SMC-D 虚拟设备的引入使 SMC-D 不再局限于 IBM z 平台,成为普惠的同物理设备内 TCP 加速方案。SMC-D 协议在现有 SMCv2.1 基础上增加对虚拟设备的 extended GID 支持、预留 CHID、以及 CLC 握手适配,作为 supplemental feature 进入 SMCv2.1 中。相应的,作为 SMC-D 虚拟设备之一的 loopback-ism 代码实现也发送至上游。loopback-ism 是一种模拟 IBM z 平台 ISM 设备的纯软件实现设备,与 SMC-D 协议配合以加速同 OS 内进程间或容器间通信。目前已 review 到 v4 版本。

04 virtio

本月 SIG 在 virtio 上工作主要聚焦在 RSS context 提案、virtio XDP 支持与设备校验和能力共存、以及多个缺陷修复。

virtio RSS context

高性能网络小组为了支持 virtio 队列流量隔离的需求,和 Nvidia 共同发起了 RSS context 的提案。本月推进的 v3 版本,目前已经获得了另一个投票成员 Marvell 的 Satananda 的 Acked-by。

virtio XDP 支持与设备校验和能力共存

目前 virtio 同主机的 VM 之间支持接收具有部分校验和的报文,以节省设备的计算开销。由于 XDP 会重写报文的一些信息,导致具有部分校验和的报文被丢弃,因此,加载 XDP 程序必须清除设备的校验和卸载能力,然后这样会导致失去了硬件卸载 checksum 的能力。

为了实现在加载 XDP 程序的同时保持设备的 checksum 卸载的能力,高性能网络小组曾经尝试过在 XDP 处理后重新探测校验和的方法,但是该方法面临了众多挑战,例如 XDP 用户程序为报文增加了外层隧道,会造成无法探测和探测失败的问题;再例如程序执行 XDP_TX action 时,设备由于缺少部分校验和卸载需要的信息而造成丢包。因此,高性能网络小组从该问题的源头出发,重新设计了一个简单明了的解决方案,发起 virtio-net: support distinguishing between partial and full checksum 的提案,帮助虚拟机大大节省验证校验和造成的 cpu 开销,目前该提案正在与社区讨论中。

中断聚合

高性能网络小组为了在 virtio 上支持 netdim,发现并修复了多个相关的缺陷。

相关链接:

高性能网络 SIG 主页:https://openanolis.cn/sig/high-perf-network

注:更多龙蜥 SIG 月度动态可点击这里查看。

—— 完 ——

加入龙蜥社群

加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码。

关于龙蜥

龙蜥社区是立足云计算打造面向国际的 Linux  服务器操作系统开源根社区及创新平台。龙蜥操作系统(Anolis OS)是龙蜥社区推出的 Linux 发行版,拥有三大核心能力:提效降本、更加稳定、更加安全。

目前,Anolis OS 23 已发布,全面支持智能计算,兼容主流 AI 框架,支持一键安装 nvidia GPU 驱动、CUDA 库等,完善适配 Intel、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密支持。

加入我们,一起打造面向云时代的操作系统!

相关文章
|
Ubuntu 网络协议 Unix
02理解网络IO:实现服务与客户端通信
网络IO指客户端与服务端通过网络进行数据收发的过程,常见于微信、QQ等应用。本文详解如何用C语言实现一个支持多客户端连接的TCP服务端,涉及socket编程、线程处理及通信流程,并分析“一消息一线程”模式的优缺点。
398 0
|
11月前
|
canal 编解码 运维
飞天洛神云网络再度入选通信顶会 SIGCOMM'24
飞天洛神云网络再度入选通信顶会 SIGCOMM'24
412 12
|
11月前
|
人工智能 自然语言处理 决策智能
智能体竟能自行组建通信网络,还能自创协议提升通信效率
《一种适用于大型语言模型网络的可扩展通信协议》提出创新协议Agora,解决多智能体系统中的“通信三难困境”,即异构性、通用性和成本问题。Agora通过标准协议、结构化数据和自然语言三种通信格式,实现高效协作,支持复杂任务自动化。演示场景显示其在预订服务和天气预报等应用中的优越性能。论文地址:https://arxiv.org/pdf/2410.11905。
435 6
|
负载均衡 网络协议 算法
不为人知的网络编程(十九):能Ping通,TCP就一定能连接和通信吗?
这网络层就像搭积木一样,上层协议都是基于下层协议搭出来的。不管是ping(用了ICMP协议)还是tcp本质上都是基于网络层IP协议的数据包,而到了物理层,都是二进制01串,都走网卡发出去了。 如果网络环境没发生变化,目的地又一样,那按道理说他们走的网络路径应该是一样的,什么情况下会不同呢? 我们就从路由这个话题聊起吧。
379 4
不为人知的网络编程(十九):能Ping通,TCP就一定能连接和通信吗?
|
11月前
|
缓存 网络协议 安全
即时通讯初学者必知必会的20个网络编程和通信安全知识点
即时通讯IM应用开发的初学者很容易迷失在网络编程的复杂性以及通信安全的各种概念里,本文不涉及深度理论知识,尽量通过一句话或几句话让你快速了解20个相关的网络编程和通信安全知识点,希望能助你愉快地开始即时通讯应用开发。
481 0
|
安全 搜索推荐 网络安全
HTTPS协议是**一种通过计算机网络进行安全通信的传输协议
HTTPS协议是**一种通过计算机网络进行安全通信的传输协议
430 11
|
网络协议
计算机网络与通信
计算机网络基本概念:了解计算机网络的定义、功能、分类和拓扑结构(如总线型、星型、环型、树形、网状等)。 网络通信原理:了解网络通信的基本原理、协议和技术,如TCP/IP协议、网络通信设备等。
259 3