高性能存储技术SIG 8月份运营月报 | 龙蜥SIG

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 龙蜥社区:高性能存储技术兴趣组致力于存储栈性能挖掘。

高性能存储技术 SIG:存储领域的发展历程,本质上是存储介质与软件栈相互促进发展的过程。高性能存储技术兴趣组致力于存储栈性能挖掘。


SIG 目标:当前主要聚焦内核 io_uring 技术优化异步 IO 性能,使用持久化内存提升业务单成本性能,容器场景存储技术优化等课题。 期望通过龙蜥社区(OpenAnolis)合作,打造标准的高性能存储技术软件栈,推动软硬件协同发展。


欢迎更多开发者加入高性能存储技术SIG:

网址:https://openanolis.cn/sig/high-perf-storage

邮件列表:cloud-kernel@lists.openanolis.cn

高性能储存技能.png

SIG 本月亮点

统信软件合作统信软件作为 SIG 的 Maintainer 之一,深度参与到高性能存储技术 SIG 当中。一期计划先基于龙蜥操作系统( Anolis OS) 搭载的 io_uring 进行了评测,并将相关技术移植到统信 OS 中。评测对象包括:使用 fio 基于 NVMe 盘对比测试 libaio 和 io_uring 的 IO 性能,使用 SIG 中 nginx 和 redis 支持 io_uring 的 POC 分支版本对比测试 io_uring 和 epoll 的网络性能等。初步测试结果表明,大部分场景 io_uring 的确能带来性能优化,与 SIG POC 数据基本一致,具体测试报告细节整理完成后会发布到 SIG 中。感谢统信同学 @wangleic、@HanGuangyu 的参与。


评测过程中问题发现及修复:

1、redis io_uring fast poll 支持问题

修复补丁:783f39482587 fix wrong poll mask in fast poll(@maomao123)


2、redis-benchmark 工具 register files 支持

修复补丁:02b8c5eaa2ab add missing register files in redis-benchmark(@maomao123)


3、redis sqpoll 支持

修复补丁:1b631b5a6350 add a sqpoll argument for server and benchmark(@maomao123)


4、redis 在打开 NUMA 场景性能不及预期

测试中通过绑核解决。(@maomao123、@HanGuangyu)


5、nginx 短连接性能下降 20%

比 SIG POC 数据下降 5% ~ 10% 要差,初步分析原因与频繁 accept 连接

有关,后续需要重点分析和优化。(@maomao123)


软件包更新

1、支持 CPU 资源优化特性的 liburing 适配

优化补丁:a6cf7cd33634 support sqthread cpu resource optimization(@maomao123)

SIG 项目进展

已完成项目

  • Cloud Kernel 4.19 支持 io_uring
  • io_uring 性能回归框架
  • io_uring 应用 POC
  • Redis
  • Nginx
  • Echo Server

进行中项目

  • io_uring 优化
  • RocksDB
  • Netty
  • virtio-fs per-file dax 支持
  • 16k 原子写

计划中项目

  • 容器镜像加速
  • IO 业务模型分析

SIG 项目动态

结合异步 IO 业务场景,围绕 io_uring 我们将继续探索对 RocksDB 以及 Netty 的优化。其中 RocksDB 是广泛应用的 KV 存储引擎,Netty 作为 Java 网络应用的基础框架同样有着非常广泛的应用。(@wangxiaoguang)virtiofs 目前已经在容器化存储场景(kata)默认使用,我们针对高性能场景提出 per-file DAX 优化,已经发到 v4 版本,正在上游社区推进中。(@Jingbo Xu)我们也在积极探索数据库场景的垂直优化,目前针对 MySQL double write 带来的性能和带宽开销做了一些研究,期望通过文件系统层的优化来消除 double write。(@gaoxiang、@josephqi)


由于上述工作都会涉及到 Anolis Kernel,而当前 Kernel SIG 相关流程规范还在讨论中。待 Kernel SIG 的流程规范公布后,我们会第一时间将我们的研究成果开放在高性能存储技术 SIG 中,并期望有更多的同学参与进来一起完善。


—— 完 ——


关于龙蜥社区 SIG

SIG 是开放的,并争取让交付成果成为社区发行的一部分,由组内核心成员主导治理,可通过邮件列表和组内的成员进行交流。龙蜥社区SIG目前已超 20 个,包括跟踪诊断技术 SIG、商密软件栈、高性能存储技术 SIG、Java 语言与虚拟机 SIG、Cloud Kernel、OceanBase SIG 等。

image.gifsig截图.png

SIG网址:https://openanolis.cn/sig


加入龙蜥社群

加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】拉你入群;加入钉钉群:扫描下方钉钉群二维码。欢迎开发者/用户加入龙蜥社区(OpenAnolis)交流,共同推进龙蜥社区的发展,一起打造一个活跃的、健康的开源操作系统生态!

image.gif          1.jpeg          龙蜥助手.jpeg

       龙蜥社区钉钉交流群                            龙蜥社区-小龙

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
3天前
|
Anolis 异构计算
|
5月前
|
运维 测试技术 Linux
社区新标准发布!龙蜥社区标准化 SIG MeetUp 圆满结束
与会专家的意见对共同推动社区标准的完善具有重要意义。
|
存储 Cloud Native 大数据
带你读《2022龙蜥社区全景白皮书》——5.1.2 龙蜥ARM生态支持
带你读《2022龙蜥社区全景白皮书》——5.1.2 龙蜥ARM生态支持
227 3
带你读《2022龙蜥社区全景白皮书》——5.1.2 龙蜥ARM生态支持
|
存储 机器学习/深度学习 Dragonfly
龙蜥社区首次突破!高性能存储 SIG 现身 LSF/MM/BPF 2023 分享 EROFS 的演进路线
Gao Xiang 在 LSF/MM/BPF 会议中做了 EROFS 文件系统的介绍:EROFS 已成为安卓系统分区推荐方案,目前它越来越不局限于原始目标场景,不断突破自身应用边界。例如,在龙蜥社区合作伙伴的努力下,EROFS 的容器镜像场景也有许多应用落地。
|
Kubernetes Cloud Native 安全
浪潮信息龙蜥联合实验室领衔成立 Serverless SIG, 打造标准化开源解决方案
龙蜥社区首届 Serverless SIG MeetUp 圆满结束,共同探讨了 SIG 的发展规划及共建方案。
浪潮信息龙蜥联合实验室领衔成立 Serverless SIG, 打造标准化开源解决方案