SMC-R 透明加速 TCP 技术,在 Redis 场景下的应用实践 | 干货推荐

简介: SMC-R 作为一套与 TCP/IP 协议平行、向上兼容 socket 接口、底层使用 RDMA 完成共享内存通信的内核协议栈,其设计意图是为 TCP 应用提供透明的 RDMA 服务,同时保留了 TCP/IP 生态系统中的关键功能。

编者按:SMC-R 作为一套与 TCP/IP 协议平行、向上兼容 socket 接口、底层使用 RDMA 完成共享内存通信的内核协议栈,其设计意图是为 TCP 应用提供透明的 RDMA 服务,同时保留了 TCP/IP 生态系统中的关键功能。本文转自浪潮信息操作系统公众号,介绍了在龙蜥操作系统衍生版 KeyarchOS (浪潮信息云峦服务器操作系统)环境下,使用 SMC-R 透明加速 TCP 技术在 Redis 场景下进行应用验证。

 

背景

当前 Linux 网络协议栈是在性能(吞吐、CPU 使用率)、时延和通用性权衡下的实现。在真实场景中,常常需要高性能但是并不通用的用户态协议栈,亦或是通用、更高性能更低时延的方案,但是基于传统以太网卡的方案很难有大幅度的提升,更多是基于硬件的红利,例如 100G/400G 网络。

在大规模数据中心内部,如何为跨服务器之间的数据传输,提供高性能、低延迟的通信,从而加速数据中心内不同服务器之间的数据共享、数据备份、容灾等;在分布式存储系统中,如何为节点之间的数据传输,提供高带宽、低延迟的存储访问,加速数据的读写操作,提高存储系统的性能等;这些都成为新型网络协议栈的应用场景。

简介

共享内存通信(Shared Memory Communication,SMC)是一种兼容 socket 层,利用共享内存操作实现高性能通信的内核网络协议栈。当共享内存通信基于远程内存直接访问(Remote Direct Memory Access,RDMA)技术实现时,称为 SMC over RDMA(SMC-R)。

SMC-R 兼容 socket 接口的特点使得 TCP 应用程序无需任何改造即可运行在 SMC 协议栈上,底层使用的 RDMA 网络使 SMC 拥有相较于 TCP 更好的网络性能。SMC 协议栈通过 TCP 连接自主发现对侧 SMC 能力,协商成功后使用 SMC 协议栈承载应用数据流量,协商失败则安全回退至 TCP/IP 协议栈,保证数据正常传输。

协议透明替换

使用 SMC-R 协议有两种方法。其一,是在应用程序中显式创建 AF_SMC 族的 socket;

其二,是利用 LD_PRELOAD 或 ULP + eBPF 的方式透明的将应用程序中的 AF_INET 族 socket 替换为 AF_SMC 族 socket。我们默认使用 SMC-R 通信的节点已经加载了SMC 内核模块,并通过这种方法将应用程序运行在 SMC-R 协议上。

对于第二种方法:

使用 LD_PRELOAD 实现协议栈透明替换,在运行 TCP 应用程序时预加载一个动态库,在动态库中实现自定义 socket() 函数,将 TCP应用程序创建的 AF_INET 类型 socket 转换为 AF_SMC 类型的 socket,再调用标准 socket 创建流程,从而将 TCP 应用流量引入 SMC-R 协议栈。开源用户态工具集 smc-tools 中的 smc_run 指令即实现上述功能。

(图/SMC-R 在高性能数据查询和处理中的应用)


SMC-R 作为一套与 TCP/IP 协议平行、向上兼容 socket 接口、底层使用 RDMA 完成共享内存通信的内核协议栈,其设计意图是为 TCP 应用提供透明的 RDMA 服务,同时保留了 TCP/IP 生态系统中的关键功能。基于此,本文针对 redis 数据库应用场景,在无需对 redis 进行任何改造的情况下,测试使用 SMC-R 前后吞吐性能对比,结果如下:

测试结:redis-banchmarh 测试中,SET 方法在使用 TCP 协议下,无论线程数或数据包大小场景下均比较稳定,在使用 SMC 协议下,提升幅度较大,达到 40% 以上,在线程数 8、数据包大小 64 情况下提升 60%。GET 方法测试结果与 SET 方法相近,性能提升趋势也基本一致。

总结

基于 SMC-R 的高性能、透明替换等优势,适用于网络通信占比高的场景,在 Redis 等高性能数据查询与处理的场景,SMC-R 为应用提供无侵入式透明替换 TCP 协议栈的能力,无需应用二次开发和适配,即可为应用提升 QPS(Queries Per Second),在 Redis 应用场景下(64 字节、8 线程)可提升至 60%。


更多 SMC-R 相关文章阅读:

系列解读SMC-R(一):透明无感提升云上 TCP 应用网络性能

系列解读 SMC-R (二):融合 TCP 与 RDMA 的 SMC-R 通信

性能提升 57% ,SMC-R 透明加速 TCP 实战解析

性能透明提升 50%!SMC + ERDMA 云上超大规模高性能网络协议栈


—— 完 ——

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4天前
|
canal NoSQL 关系型数据库
Redis应用—7.大Value处理方案
本文介绍了一种用于监控Redis大key的方案设计及其实现步骤。主要内容包括:方案设计、安装与配置环境、binlog数据消费者。
Redis应用—7.大Value处理方案
|
4天前
|
缓存 NoSQL Java
Redis应用—6.热key探测设计与实践
热key问题在高并发系统中可能导致数据层和服务层的严重瓶颈,如Redis集群瘫痪和用户体验下降。为解决此问题,京东开发了JdHotkey热key探测框架,具备实时性、准确性、集群一致性和高性能等特点。该框架由etcd集群、Client端jar包、Worker端集群和Dashboard控制台组成,通过分布式计算快速识别热key并推送至应用内存,有效减轻数据层负载,提升服务性能。JdHotkey适用于多种场景,安装部署简便,支持毫秒级热key探测和集群一致性维护。
Redis应用—6.热key探测设计与实践
|
3天前
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
Redis应用—8.相关的缓存框架
|
5天前
|
缓存 NoSQL 算法
Redis应用—5.Redis相关解决方案
本文介绍了Redis在实际应用中遇到的几个关键问题及其解决方案,包括:数据库与缓存一致性方案、热key探测系统处理热key问题、缓存大value监控和切分处理方案、Redis内存不足强制回收监控告警方案、Redis集群缓存雪崩自动探测 + 限流降级方案、缓存击穿的解决方法。
Redis应用—5.Redis相关解决方案
|
5天前
|
缓存 供应链 NoSQL
Redis应用—4.在库存里的应用
本文介绍了社区电商系统库存模块的设计与实现,涵盖以下关键点:库存模块设计、库存缓存分片和渐进式同步方案、下单库存扣减方案、商品库存设置流程与异步落库、库存扣减逻辑、库存查询,这些设计确保了库存管理在高并发场景下的高效性和数据一致性。
Redis应用—4.在库存里的应用
|
2天前
|
缓存 NoSQL Java
Redis应用—9.简单应用汇总
本文主要介绍了Redis的一些简单应用。
|
7天前
|
缓存 NoSQL 关系型数据库
Redis应用—3.在购物车里的应用
本文详细介绍了社区电商购物车的设计与实现,涵盖多个关键方面:读多写多场景分析、复杂缓存与异步落库、异步落库问题处理、阈值检查与重复加入逻辑、多线程并发问题解决、查询更新功能、选中提交功能。
|
NoSQL 云栖大会 Redis
【云栖大会】Redis技术的实践与探索
Redis作为高性能的key-value数据库,目前包括Twitter、微博、GitHub在内等众多IT互联网企业都在使用它。本专场阿里云高级技术专家兼Redis中国用户会发起人子嘉等人齐聚首,分享了Redis的实践经验,以及Redis云服务的技术架构、云上客户的典型问题等内容。
3479 0
|
1月前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
130 6
Redis,分布式缓存演化之路
|
3月前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
205 85

热门文章

最新文章