高性能网络SIG月度动态:virtio技术委员会通过flow director提案,netdim调节特性正式合入上游社区

简介: 高性能网络SIG月度动态送达。

高性能网络 SIG(Special Interest Group) :在这个万物互联的时代,云上的网络通信效率对各种服务至关重要,高性能网络兴趣组致力于利用 XDP、RDMA、VIRTIO 等新高效通信技术,结合软硬件一体化的思想,打造高性能网络协议栈,提升云计算时代数据中心应用的网络性能。

01 整体进展

本月,高性能网络 SIG 的工作主要集中在 virtio 和 SMC 上,取得了以下关键进展:

1. 将 ANCK 自研的 IPPROTO_SMC 方案贡献至上游社区。

2. netdim 参数列表调节特性正式合入上游社区,并回合至 ANCK。

3. 与 Nvidia、Marvell 等公司协作推进的 virtio flow director 提案获得 virtio 技术委员会通过进入 virtio 规范。

02 ANCK 通用内核网络协议栈

安全

ANCK 5.10 (PR3413) 和 ANCK 4.19 (PR3416) 本月分别修复了 CVE-2023-52628。

03 SMC

本月 SIG 在 SMC 领域的主要工作包括上游 IPPROTO_SMC 的合并以及其它优化和修复。

IPPROTO_SMC 合入上游

IPPROTO_SMC 是 SIG 为 IP 协议族新增的一种协议类型,旨在提高 SMC 与 TCP 在功能上的一致性以及减少 SMC 回退时的性能损失。本月 SIG 在推进 IPPROTO_SMC 合入上游的过程中迭代了 4 个版本,优化了相关函数定义、文件结构、和社区敲定了 IPPROTO_SMC 的数值选择,最终正式合入上游 [1]。

上游其它优化与修复

  • SMC-R sndbuf/RMB 上限突破 512 KB 的优化,已合并到上游 [2],旨在大包场景下使用较大共享内存获得更好的吞吐表现。
  • 针对 SMC 回退后 sk_{snd|rcv}buf 与直接使用 TCP 时不同的问题的修复,已合并到上游 [3]。

04 virtio

本月 SIG 在 virtio 领域的主要工作集中于提供中断参数列表调节通道和 flow director。

NetDIM 参数列表调节

动态中断调节(netdim)可以根据当前流量状况,自动调整网卡的中断频率,从而提高数据处理效率。然而,不同网卡对中断参数列表的需求各不相同,例如 ICE 和 IDPF 等现代网卡对各自的中断参数列表进行了自定义配置。而 netdim 在 virtio-net 网卡上性能未达预期,主要原因之一也是不合适的中断参数列表。因此,SIG 为上游社区和 ANCK-5.10.134-17.y 支持了基于用户态工具 ethtool 设置中断参数列表的方法[4],以允许用户灵活调节 netdim,从而实现最佳的网络吞吐和时延。

接收队列选择 - Flow Director

Flow director 特性使网卡能够依据数据包的 MAC、IP 和 TCP 等头部字段进行匹配,将符合规则的数据流定向到特定接收队列,或选择将其丢弃,为用户提供灵活的数据流规则配置。为了在 virtio 中支持 flow director,SIG 与 Nvidia、Marvell 等公司合作发起了一项提案 [5]。经过 12 个月和 11 个版本的迭代,这一提案已获得 virtio 技术委员会得投票通过,将随 virtio specification 1.4 发布。

相关链接:

[1]https://lore.kernel.org/netdev/1718301630-63692-1-git-send-email-alibuda@linux.alibaba.com/

[2]https://lore.kernel.org/netdev/20240603030019.91346-1-guangguan.wang@linux.alibaba.com/

[3]https://lore.kernel.org/netdev/20240531085417.43104-1-guwen@linux.alibaba.com/

[4]https://lore.kernel.org/all/20240621101353.107425-1-hengqi@linux.alibaba.com/

[5]https://lore.kernel.org/virtio-comment/20240604132903.2093195-1-parav@nvidia.com/T/#m6ccb0872045b3f92d50f94fd7dff80b5cc02c0ed

高性能网络 SIG 主页:

https://openanolis.cn/sig/high-perf-network

注:更多龙蜥 SIG 月度动态可点击这里查看。

—— 完 ——

相关文章
|
12月前
|
机器学习/深度学习 人工智能 监控
上海拔俗AI软件定制:让技术真正为你所用,拔俗网络这样做
在上海,企业正通过AI软件定制破解通用化难题。该模式以业务场景为核心,量身打造智能解决方案,涵盖场景化模型开发、模块化架构设计与数据闭环优化三大技术维度,推动技术与业务深度融合,助力企业实现高效、可持续的数字化转型。
369 0
|
监控 前端开发 安全
Netty 高性能网络编程框架技术详解与实践指南
本文档全面介绍 Netty 高性能网络编程框架的核心概念、架构设计和实践应用。作为 Java 领域最优秀的 NIO 框架之一,Netty 提供了异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。本文将深入探讨其 Reactor 模型、ChannelPipeline、编解码器、内存管理等核心机制,帮助开发者构建高性能的网络应用系统。
836 0
|
机器学习/深度学习 算法 PyTorch
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
深度学习近年来在多个领域取得了显著进展,但其核心组件——人工神经元和反向传播算法自提出以来鲜有根本性突破。穿孔反向传播(Perforated Backpropagation)技术通过引入“树突”机制,模仿生物神经元的计算能力,实现了对传统神经元的增强。该技术利用基于协方差的损失函数训练树突节点,使其能够识别神经元分类中的异常模式,从而提升整体网络性能。实验表明,该方法不仅可提高模型精度(如BERT模型准确率提升3%-17%),还能实现高效模型压缩(参数减少44%而无性能损失)。这一革新为深度学习的基础构建模块带来了新的可能性,尤其适用于边缘设备和大规模模型优化场景。
601 16
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
|
监控 算法 安全
基于 C# 基数树算法的网络屏幕监控敏感词检测技术研究
随着数字化办公和网络交互迅猛发展,网络屏幕监控成为信息安全的关键。基数树(Trie Tree)凭借高效的字符串处理能力,在敏感词检测中表现出色。结合C#语言,可构建高时效、高准确率的敏感词识别模块,提升网络安全防护能力。
399 2
|
调度 Python
探索Python高级并发与网络编程技术。
可以看出,Python的高级并发和网络编程极具挑战,却也饱含乐趣。探索这些技术,你将会发现:它们好比是Python世界的海洋,有穿越风暴的波涛,也有寂静深海的奇妙。开始旅途,探索无尽可能吧!
393 15
|
API 数据处理 Android开发
Android网络请求演变:从Retrofit到Flow的转变过程。
通过这个比喻,我们解释了 Android 网络请求从 Retrofit 到 Flow 的转变过程。这不仅是技术升级的体现,更是反映出开发者在面对并发编程问题时,持续探索和迭求更好地解决方案的精神。未来,还会有更多新的技术和工具出现,我们期待一同 witness 这一切的发展。
649 36
|
存储 双11 数据中心
数据中心网络关键技术,技术发明一等奖!
近日,阿里云联合清华大学与中国移动申报的“性能可预期的大规模数据中心网络关键技术与应用”项目荣获中国电子学会技术发明一等奖。该项目通过端网融合架构,实现数据中心网络性能的可预期性,在带宽保障、时延控制和故障恢复速度上取得重大突破,显著提升服务质量。成果已应用于阿里云多项产品及重大社会活动中,如巴黎奥运会直播、“双十一”购物节等,展现出国际领先水平。
|
监控 算法 JavaScript
基于 JavaScript 图算法的局域网网络访问控制模型构建及局域网禁止上网软件的技术实现路径研究
本文探讨局域网网络访问控制软件的技术框架,将其核心功能映射为图论模型,通过节点与边表示终端设备及访问关系。以JavaScript实现DFS算法,模拟访问权限判断,优化动态策略更新与多层级访问控制。结合流量监控数据,提升网络安全响应能力,为企业自主研发提供理论支持,推动智能化演进,助力数字化管理。
418 4
|
安全 网络安全 定位技术
网络通讯技术:HTTP POST协议用于发送本地压缩数据到服务器的方案。
总的来说,无论你是一名网络开发者,还是普通的IT工作人员,理解并掌握POST方法的运用是非常有价值的。它就像一艘快速,稳定,安全的大船,始终为我们在网络海洋中的冒险提供了可靠的支持。
497 22

热门文章

最新文章