高性能存储SIG月度动态:io_uring支持nvme直通,DSMS完成开发测试

简介: Cloud Kernel SIG 月度动态送达,一键了解 5 月各项目进展。

高性能存储 SIG(Special Interest Group)目标:存储领域的发展历程,本质上是存储介质与软件栈相互促进发展的过程。高性能存储 SIG 致力于存储栈性能挖掘,当前主要聚焦内核 io_uring 技术优化异步 IO 性能,使用持久化内存提升业务单成本性能,容器场景存储技术优化等课题。高性能存储 SIG 期望通过社区合作,打造标准的高性能存储技术软件栈,推动软硬件协同发展。

01  SIG 整体进展

1、本月合入 Anolis 主线 PR 共计 24 个,包含多个重要组件的特性支持,性能优化和 bugfix 等。

2、继上个月 ANCK 5.10 支持 erofs subpage block 特性后,ANCK 4.19 也提供这一特性支持,可提升容器镜像 tar 包解压性能以及 golden image 的安全性。

3、ANCK 4.19/5.10 支持 virtfuse 模块,可方便云原生场景下 FUSE 文件系统的部署,应用于大数据和 AI 训练的存储接入等场景。

4、ANCK 5.10 支持 io_uring nvme passthrough 特性的 PR 已经提交 review,计划合入 5.10-15 版本,POC 数据显示相比原生的 io_uring 路径性能提升 ~15%。

5、DSMS 开发测试完成,构建打包中,计划在 Anolis 23 中发布预览版。

02 项目具体进展

1)Anolis OS

cve:CVE-2023-0386(PR1608),CVE-2023-2269(PR1690/PR1691),CVE-2023-2513(PR1694)

erofs & fscache:支持 iomap(PR1638),支持 subpage block 特性(PR1639),修复添加 entry 到损坏的目录 crash 问题(PR1649)

io_uring:修复 uring cmd 提交失败的 bug(PR1644/PR1668)

ext4:优化 dio 覆盖写性能(PR1601),修复 ext4_xattr_set_entry UAF(PR1614),修复多个 ext4 bigalloc 的 bug(PR1657)

xfs:修复 xfstests xfs/191 用例失败问题(PR1594)

fuse:解决 FUSE_PASSTHROUGH 特性位冲突(PR1470),支持 virtfuse 特性(PR1606/PR1656),修复多个 fuse bug(PR1652),修复 virtfuse 在未注册回调函数的 bug(PR1655)

overlayfs:支持 virtiofs 作为 upper layer(PR1650),修复 virtiofs 作为 upper layer 的 bug(PR1651),修复 generic/683 用例失败问题(PR1667)

misc:修复 nilfs2 sysfs 接口生命周期问题(PR1626),修复 nilfs2 UAF bug(PR1666)

2)容器镜像

ANCK 4.19 支持 erofs subpage block 特性,可应用于容器镜像场景中 erofs 直接索引容器镜像的 tar 包,省去容器镜像生命周期管理中 tar 包的 untar 以及清理流程,从而提升性能和稳定性,并提升容器镜像作为 golden image 的安全性。

xattr bloom filter 已经开发完成并发出 RFC 补丁,在 shared xattr 场景运行时性能有 ~20% 的优化;另外,xattr 和压缩单元持续清理代码中。

erofs-utils 报告 2 个 cve,目前已经初步解决,并在 erofs 的 fsck 工具中集成了 fuzz 框架来满足 malicious image 的 fuzz 需求,同时基于 fuzz 框架进一步加固 erofs-utils。

3)io_uring

ANCK 5.10 支持 io_uring nvme passthrough 特性的 PR 已经提交 revew,将在接下来发布的 5.10-15 版本发布;

从测试版本的 POC 数据来看,相比原生的 io_uring,性能有 ~15% 的提升。接下来将在分布式存储项目端到端验证。

4)dsms

dsms 已经在 Anolis 8.6 上完成了 dsms-engine、dsms-storage 以及 dsms-ui 等组件的功能联调,并且通过测试,目前已经成功构建 dsms-ui、dsms-engine;dsms-storage 构建目前缺少依赖包,将在 SIG 群里跟进解决。

待全部包构建成功后,将按照社区包引入流程提交申请,计划在 Anolis23 中发布预览版。

03 下一步计划

xattr bloom filter 合入上游主线;完成 erofs 支持 deflate 压缩特性开发,并支持 subpage。

借助开源之夏项目,erofs-utils 支持多线程打包和解压,以及 fuse 增强等特性。

io_uring nvme passthrough 特性合入 ANCK 5.10 主线。

dsms 继续完成构建打包,并提交包引入申请,适配 Anolis 23。

相关链接:

高性能存储 SIG 主页:

https://openanolis.cn/sig/high-perf-storage

注:更多龙蜥 SIG 月度动态可点击这里查看。

—— 完 ——

加入龙蜥社群

加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码。

相关文章
|
数据采集 算法 测试技术
【硬件测试】基于FPGA的1024QAM基带通信系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
本文介绍了基于FPGA的1024QAM基带通信系统的硬件测试版本,包含testbench、高斯信道模块和误码率统计模块。系统新增ila在线数据采集和vio在线SNR设置模块,支持不同SNR条件下的性能测试。1024QAM调制将10比特映射到复平面上的1024个星座点之一,实现高效数据传输。硬件测试结果表明,在SNR=32dB和40dB时,系统表现出良好的性能。Verilog核心程序展示了各模块的连接与功能实现。
366 7
|
机器学习/深度学习 人工智能 并行计算
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
|
8月前
|
存储 测试技术 API
数据驱动开发软件测试脚本
今天刚提交了我的新作《带着ChatGPT玩转软件开发》给出版社,在写作期间跟着ChatGPT学到许多新知识。下面分享数据驱动开发软件测试脚本。
317 0
|
11月前
|
传感器 人工智能 JavaScript
鸿蒙开发:DevEcoTesting中的稳定性测试
DevEcoTesting主要的目的也是用于软件的测试,可以让开发者无需复杂的配置,即可一键执行测试任务,同时提供了测试报告和分析,无论是对于开发者还是测试同学来说,都是一个非常方便的工具。
335 3
鸿蒙开发:DevEcoTesting中的稳定性测试
|
10月前
|
敏捷开发 运维 数据可视化
DevOps看板工具中的协作功能:如何打破开发、测试与运维之间的沟通壁垒
在DevOps实践中,看板工具通过可视化任务管理和自动化流程,提升开发与运维团队的协作效率。它支持敏捷开发、持续交付,助力团队高效应对需求变化,实现跨职能协作与流程优化。
|
10月前
|
运维 jenkins 测试技术
"还在苦等开发部署环境?3步教你用Jenkins拿回测试主动权"
测试工程师最头疼的问题是什么?依赖开发部署环境! 开发延期→测试时间被压缩→紧急上线后BUG频出→测试背锅。传统流程中,测试被动等待部署,效率低下。而Jenkins自动化部署让测试人员自主搭建环境,实现: ✅ 随时触发测试,不再苦等开发 ✅ 部署效率提升10倍,抢回测试时间 ✅ 改善团队协作,减少互相甩锅 学习Jenkins部署能力,成为高效测试工程师,告别被动等待!
|
数据采集 算法 数据安全/隐私保护
【硬件测试】基于FPGA的4ASK调制解调通信系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
本文介绍了基于FPGA的4ASK调制解调系统的硬件测试版本,该系统包括testbench、高斯信道模块和误码率统计模块,并新增了ILA在线数据采集和VIO在线SNR设置功能。通过VIO设置不同SNR(如15dB和25dB),实现了对系统性能的实时监测与调整。4ASK是一种通过改变载波幅度表示数据的数字调制方式,适用于多种通信场景。FPGA平台的高效性和灵活性使其成为构建高性能通信系统的理想选择。
370 17
|
数据采集 算法 数据安全/隐私保护
【硬件测试】基于FPGA的4FSK调制解调通信系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
本文基于之前的文章《基于FPGA的4FSK调制解调系统》,增加了ILA在线数据采集模块和VIO在线SNR设置模块,实现了硬件测试版本。通过VIO设置不同SNR(如10dB和20dB),并展示了ILA采集的数据结果。四频移键控(4FSK)是一种数字调制方法,利用四个不同频率传输二进制数据,具有较高的频带利用率和抗干扰性能。输入的二进制数据分为两组,每组两个比特,对应四个频率f1、f2、f3、f4,分别代表二进制组合00、01、10、11。调制过程中选择相应频率输出,并进行幅度调制以增强抗干扰能力。接收端通过带通滤波器提取信号并还原为原始二进制数据。
358 7
|
JSON 测试技术 网络安全
Apifox工具让我的 Socket.IO 测试效率翻倍
用了 Apifox 测试 Socket.IO 后,我整个人都升级了!不仅操作简单到令人发指,功能还贼全面,真的是 提升开发效率的神器 !
|
数据采集 算法 数据处理
【硬件测试】基于FPGA的256QAM基带通信系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
本文介绍了基于FPGA的256QAM基带通信系统的硬件测试版本,包含testbench、高斯信道模块和误码率统计模块。系统新增ila在线数据采集和vio在线SNR设置模块,支持不同信噪比(如30dB和40dB)的仿真测试,并提供配套操作视频。256QAM调制方案每个符号携带8比特信息,通过复数值星座图映射实现高效传输。Verilog代码展示了核心模块设计,包括SNR设置、数据处理和ILA测试分析,确保系统在实际硬件环境中的稳定性和性能。
346 2

热门文章

最新文章