高性能网络SIG月度动态:virtio技术委员会通过flow director提案,netdim调节特性正式合入上游社区

简介: 高性能网络SIG月度动态送达。

高性能网络 SIG(Special Interest Group)在这个万物互联的时代,云上的网络通信效率对各种服务至关重要,高性能网络兴趣组致力于利用 XDP、RDMA、VIRTIO 等新高效通信技术,结合软硬件一体化的思想,打造高性能网络协议栈,提升云计算时代数据中心应用的网络性能。

01 整体进展

本月,高性能网络 SIG 的工作主要集中在 virtio 和 SMC 上,取得了以下关键进展:

1. 将 ANCK 自研的 IPPROTO_SMC 方案贡献至上游社区。

2. netdim 参数列表调节特性正式合入上游社区,并回合至 ANCK。

3. 与 Nvidia、Marvell 等公司协作推进的 virtio flow director 提案获得 virtio 技术委员会通过进入 virtio 规范。

02 ANCK 通用内核网络协议栈

安全

ANCK 5.10 (PR3413) 和 ANCK 4.19 (PR3416) 本月分别修复了 CVE-2023-52628。

03 SMC

本月 SIG 在 SMC 领域的主要工作包括上游 IPPROTO_SMC 的合并以及其它优化和修复。

IPPROTO_SMC 合入上游

IPPROTO_SMC 是 SIG 为 IP 协议族新增的一种协议类型,旨在提高 SMC 与 TCP 在功能上的一致性以及减少 SMC 回退时的性能损失。本月 SIG 在推进 IPPROTO_SMC 合入上游的过程中迭代了 4 个版本,优化了相关函数定义、文件结构、和社区敲定了 IPPROTO_SMC 的数值选择,最终正式合入上游 [1]

上游其它优化与修复

  • SMC-R sndbuf/RMB 上限突破 512 KB 的优化,已合并到上游 [2],旨在大包场景下使用较大共享内存获得更好的吞吐表现。
  • 针对 SMC 回退后 sk_{snd|rcv}buf 与直接使用 TCP 时不同的问题的修复,已合并到上游 [3]

04 virtio

本月 SIG 在 virtio 领域的主要工作集中于提供中断参数列表调节通道和 flow director。

NetDIM 参数列表调节

动态中断调节(netdim)可以根据当前流量状况,自动调整网卡的中断频率,从而提高数据处理效率。然而,不同网卡对中断参数列表的需求各不相同,例如 ICE 和 IDPF 等现代网卡对各自的中断参数列表进行了自定义配置。而 netdim 在 virtio-net 网卡上性能未达预期,主要原因之一也是不合适的中断参数列表。因此,SIG 为上游社区和 ANCK-5.10.134-17.y 支持了基于用户态工具 ethtool 设置中断参数列表的方法[4],以允许用户灵活调节 netdim,从而实现最佳的网络吞吐和时延。

接收队列选择 - Flow Director

Flow director 特性使网卡能够依据数据包的 MAC、IP 和 TCP 等头部字段进行匹配,将符合规则的数据流定向到特定接收队列,或选择将其丢弃,为用户提供灵活的数据流规则配置。为了在 virtio 中支持 flow director,SIG 与 Nvidia、Marvell 等公司合作发起了一项提案 [5]。经过 12 个月和 11 个版本的迭代,这一提案已获得 virtio 技术委员会得投票通过,将随 virtio specification 1.4 发布。

相关链接:

[1]https://lore.kernel.org/netdev/1718301630-63692-1-git-send-email-alibuda@linux.alibaba.com/

[2]https://lore.kernel.org/netdev/20240603030019.91346-1-guangguan.wang@linux.alibaba.com/

[3]https://lore.kernel.org/netdev/20240531085417.43104-1-guwen@linux.alibaba.com/

[4]https://lore.kernel.org/all/20240621101353.107425-1-hengqi@linux.alibaba.com/

[5]https://lore.kernel.org/virtio-comment/20240604132903.2093195-1-parav@nvidia.com/T/#m6ccb0872045b3f92d50f94fd7dff80b5cc02c0ed

高性能网络 SIG 主页:

https://openanolis.cn/sig/high-perf-network

注:更多龙蜥 SIG 月度动态可点击这里查看。

—— 完 ——

相关文章
|
5月前
|
机器学习/深度学习 人工智能 监控
上海拔俗AI软件定制:让技术真正为你所用,拔俗网络这样做
在上海,企业正通过AI软件定制破解通用化难题。该模式以业务场景为核心,量身打造智能解决方案,涵盖场景化模型开发、模块化架构设计与数据闭环优化三大技术维度,推动技术与业务深度融合,助力企业实现高效、可持续的数字化转型。
210 0
|
6月前
|
监控 前端开发 安全
Netty 高性能网络编程框架技术详解与实践指南
本文档全面介绍 Netty 高性能网络编程框架的核心概念、架构设计和实践应用。作为 Java 领域最优秀的 NIO 框架之一,Netty 提供了异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。本文将深入探讨其 Reactor 模型、ChannelPipeline、编解码器、内存管理等核心机制,帮助开发者构建高性能的网络应用系统。
451 0
|
8月前
|
监控 算法 安全
基于 C# 基数树算法的网络屏幕监控敏感词检测技术研究
随着数字化办公和网络交互迅猛发展,网络屏幕监控成为信息安全的关键。基数树(Trie Tree)凭借高效的字符串处理能力,在敏感词检测中表现出色。结合C#语言,可构建高时效、高准确率的敏感词识别模块,提升网络安全防护能力。
213 2
|
10月前
|
机器学习/深度学习 算法 PyTorch
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
深度学习近年来在多个领域取得了显著进展,但其核心组件——人工神经元和反向传播算法自提出以来鲜有根本性突破。穿孔反向传播(Perforated Backpropagation)技术通过引入“树突”机制,模仿生物神经元的计算能力,实现了对传统神经元的增强。该技术利用基于协方差的损失函数训练树突节点,使其能够识别神经元分类中的异常模式,从而提升整体网络性能。实验表明,该方法不仅可提高模型精度(如BERT模型准确率提升3%-17%),还能实现高效模型压缩(参数减少44%而无性能损失)。这一革新为深度学习的基础构建模块带来了新的可能性,尤其适用于边缘设备和大规模模型优化场景。
430 16
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
|
10月前
|
调度 Python
探索Python高级并发与网络编程技术。
可以看出,Python的高级并发和网络编程极具挑战,却也饱含乐趣。探索这些技术,你将会发现:它们好比是Python世界的海洋,有穿越风暴的波涛,也有寂静深海的奇妙。开始旅途,探索无尽可能吧!
255 15
|
10月前
|
监控 算法 JavaScript
基于 JavaScript 图算法的局域网网络访问控制模型构建及局域网禁止上网软件的技术实现路径研究
本文探讨局域网网络访问控制软件的技术框架,将其核心功能映射为图论模型,通过节点与边表示终端设备及访问关系。以JavaScript实现DFS算法,模拟访问权限判断,优化动态策略更新与多层级访问控制。结合流量监控数据,提升网络安全响应能力,为企业自主研发提供理论支持,推动智能化演进,助力数字化管理。
270 4
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
384 17
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
303 10
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。