在Redis集群技术上,你不可错过的四大集成者-阿里云开发者社区

开发者社区> zhangdh1113> 正文

在Redis集群技术上,你不可错过的四大集成者

简介: 阿里云开源的飞天缓存ApsaraCache、Redis Enterprise、Codis和Redisson功能及特点总结和分析
+关注继续查看

前阵子有幸现场聆听了云栖大会Redis专场的分享,可以说是不虚此行:会上见到了Redis之父Salvatore Sanfilippo,Redis labs CTO Yiftach Shoolman,Redisson 联合创始人 Jack Gu,Codis 作者王乃峥以及阿里云Redis团队的众多技术大牛。演讲的内容干货也很多,这里稍作总结跟大家分享。

一、阿里云ApsaraCache

先介绍一下阿里云开源的飞天缓存ApsaraCache项目(https://github.com/alibaba/ApsaraCache),这是在社区2.8版基础上开始维护的分支,并backport了部分3.0分支的功能。

那与社区版Redis相比有哪些特点呢?阿里云技术专家白宸在演讲中做了很详细的介绍,先从架构上有一个整体的认识:

架构图

image.png

特点:

image.png

与Redis相比,ApsaraCache的显著特点是与场景有关,与数据规模无关。其技术特点和优势,主要表现在:

  • 灾备深度加固,可以重构内核同步机制,解决了原生内核在弱网条件下容易复制中断导致的全量同步问题。(作者注:社区版2.8引入psync机制在一定程度上解决了类似问题)

  • 兼容Memcached协议,能支持双副本的Memcached,数据可持久化,提供更可靠的Memcached服务。(作者注:Memcached是一种in-memory KV 存储,实例重启数据丢失,极容易导致“雪崩”)

  • 短链接优化,使短链接场景下性能提升30%以上,对PHP短连接应用居多的应用提升效果明显。

  • AOF强化,避免AOF Rewrite频繁造成的主机稳定性瓶颈,且能精确到秒级的按时间点恢复。(作者注:单机上部署多个实例如同时触发bgsave或bgrewriteaof操作,在copy-on-write机制作用下,非常可能会导致服务器内存很快耗尽,从而导致Redis服务崩溃,微博也作了类似的改造,废弃掉了aof重写机制,增加了定时持久化操作的配置项cronsave,相当于一个定时任务)

  • 独特的热升级机制,增加了热升级的功能,能够在3ms内完成一个实例的热更新。(作者注:这个功能可以避免由于升级造成的业务影响)

  • 实例的可用性检测等。

除了上面的,在Redis Cluster上面,阿里云团队也做了很多的工作,比如:

  1. 集群支持select、pub/sub、blpop的能力;

  2. 对热key的感知和处理;

  3. 读写分离;

  4. 多数据中心的灾备以及稳定可靠的基于aof log的复制等。

image.png

image.png

二、Redis Enterprise

来自Redis labs的联合创始人&CTO YiftachShoolman先生在会上提到的一点非常有意思,根据similarweb.com的统计,在Redis使用者TOP5中,中国排第一,远超第二名美国,可见国内Redis用户群体之多。

image.png

另外,他还给大家普及了一下Redis的基础,比如Redis的数据结构。

image.png

Redis modules 这个功能,相信大家不陌生吧?就是Redis labs这个公司所提出的,并且在此基础上开发了很多的扩展功能,其中本文作者就翻译过其中几篇介绍的文章,比如有:ReJSON、Redis-ML、RediSearch等。

链接:

  • http://www.sohu.com/a/155063241_99937638

  • http://www.sohu.com/a/155010567_99937638

  • http://www.sohu.com/a/154690419_99937638

还讲了很多关于Redis labs产品相关的内容,最后讲到了Redis 企业版的优势,听上去他们真的做了很多的事情,有很多值得学习地方。如下:

image.png

image.png

image.png

image.png

三、Codis集群演化和Redis异步迁移

1、Codis集群演化

Codis作者spinlock9首先分享了Codis出现的背景和开发中的挑战,他们也跟大多公司一样,也经历过多次的技术选型上的迭代,也曾在Redis + Twemproxy和Redis Cluster进行过尝试,踩过坑,比如twitter 在2015年就不再贡献Twemproxy代码,它最大的缺点是一个静态的Sharding 策略,随着业务的增长也几乎没有办法进行动态的扩缩容。而当时Redis Cluster也只是推出了beta版本,对于线上的业务存在风险。故最终确定在2014年酝酿要开发Codis,15年开始Release出来,会上他介绍了开发过程需要解决的问题,比如:


  • 兼容所有语言的客户端

  • 能支持GB到TB级别的水平扩展能力

  • 也能提供Redis同样的高吞吐和低延迟的优势

  • 高可用等

挑战:

image.png

Redis Cluster和Codis的特性比较:

image.png

需要特别提醒一下的是:Codis在3.2版本的时候就允许异步迁移,能够进行平滑的扩容缩容,这是比Redis Cluster进步的地方。

架构设计:

image.png

优缺点:

image.png

特性介绍

高吞吐

  • - 指令流水

  • - 实现效率 + 优化GC

并发多连接

  • - 单连接 – Redis

  • - 多连接 – SSD(RocksDB)

多DB支持

  • - 默认16个DB

访问控制

  • - 指令黑名单

  • - SessionAuth – Proxy 独立配置

  • - ProductAuth – Codis 集群共享

读写分离 – 跨机房优化(默认是关闭的)

  • - 牺牲一致性

  • - 写:写主

  • - 读:同IP > 同IDC > 跨IDC (优先级策略)

高可用

  • - Sentinel 替换了HA

image.png

image.png

他还讲述了未来的规划,提到了有如下几点:

  • - 兼容Redis,升级到Redis4.2,做到最小修改,兼容分片策略等;

  • - 完善Codis,完善K8S的支持,提升自动化部署程度、实现Transaction等,集成Sentinel功能等。

更大的挑战

  • - 更大的副本容量:单副本100TB以上

  • - 更高的集群吞吐:QPS 500 ~ 1000w/s

  • - 更复杂的访问模式1)普通业务 – 低延迟

    2)数据平台 – 高吞吐

  • Codis + RocksDB开源方案Pika

image.png

2、Redis异步迁移

听到这里时,还以为上面是重点,结果不是,重点下面才真正开始。

image.png

Redis同步迁移存在的问题:

降低服务质量

  • - 阻塞服务

  • - 误触HA、丢失数据

限制数据规模

  • - 实际建议<2MB(RESP限制<512MB)

迁移受网络质量(RTT)影响

  • - 增加阻塞时间、降低迁移效率

增加错误处理难度

  • - 错误恢复困难、人工介入困难

举个栗子:

image.png

那么上述的问题的解决思路是什么呢?他继续分享到:

指令分解

  • - 单个复杂、耗时的操作,分解成多个简单、高效的指令

  • - 分摊CPU分摊,单指令us级别

  • - 支持AUTH、SELECT指令

异步IO + 指令流水

  • - 连接复用

  • - 流量控制 – 发送窗口

  • - 批量迁移(Batch)

错误处理 – 脏数据处理

  • - 主动清理

  • - 过期清理

迁移状态机

  • - 发送窗口初始化

  • - 确定传输模式:简单 or 分片?

  • - 连接初始化(start)

  • - REPLACE语义

  • - 发送分片(Chunked)

  • - 临时TTL = RTT x 3

  • - 迁移完成

  • - 重置TTL

  • - 标记完成(Done)

  • - 异步删除 – BIO thread

访问冲突

  • - 迁移间隙 – Key Missing

  • - 迁移过程中 – 1)读 – 迁冲突; 2)写 – 迁冲突;3)Key Missing

image.png

image.png

image.png

image.png

image.png

四、Redisson

Redisson是什么?以及Redisson专业版有哪些特性和优点?Redisson联合创始人顾睿从Redisson使用上,举例“如何利用Redisson分布式化传统web项目”的分享,算是对之前内容的一个很好的补充和论证。(Redisson项目地址:https://github.com/redisson/redisson)传统Web项目的基本架构


image.png

传统Web项目的典型特征:

  • - 非分布式

  • - 非高可用

  • - 非高并发

什么是分布式系统?

  • - 网络 – 高度互联

  • - 集群 – 多节点

  • - 单一 – 透明化

分布式系统的特点:

  • - 开放性

  • - 透明性

  • - 扩展性

  • - 并发性

分布式化的实现方式有哪些呢?

  • - 架构细分

  • - 服务化、模块化

  • - 数据中心化

  • - 事件驱动

分布式系统会遇到哪些挑战?

image.png

image.png

image.png

接着他分享了Redis以及Redisson的概念和特点的介绍,这里为了节省篇幅,省略N多文字,但为了后面的理解,多啰嗦一句:Redisson是操作最简单,功能最丰富的Redis智能客户端,为JVM提供基于Redis的高性能驻内存数据网格。那Redisson的智能化又是体现在哪些方面呢?

image.png

image.png

Redisson是如此智能的客户端,那相比其它的普通客户端又有怎样的差异和优势呢?

image.png

image.png

回到主题上,Redisson可以解决传统Web项目分布式化?那它是怎么做到的?当时由于时间的关系,Jack Gu只是从两个方面进行了讲解,相信能在更多的方面进行解决,这两个方面分别是从数据缓存的角度和分布式锁的角度进行分享。

Redisson映射

  • Redis基本结构:Redis Hash

  • Java 接口:java.util.Map、java.util.concurrent.ConcurrentMap

  • 缓存设计模式:Read Through、Write Through、Write Behind

  • 数据预热:Data Preload

防缓存穿透,在Redisson上做了一些改进:

image.png

Redisson映射数据缓存的两种方案:

image.png

image.png

image.png

image.png

在锁上Redisson又做了哪些改进来满足分布式的需求呢?

image.png

image.png

image.png

image.png

看着上面的简单描述,各种名词似曾相识吧?真正要用起来,还是需要花些时间慢慢消化的。Redisson在一定程度上减少了使用的复杂性,提高了业务性能,提升了开发效率,可以尝试一下。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8667 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
11032 0
容器服务kubernetes federation v2实践四:基于External-DNS的多集群Service DNS实践
External-DNS提供了编程方式管理Kubernetes Service资源的DNS的功能,External-DNS会监听LoadBalancer类型的Service,然后与云厂商打通,按照可用区、region和全局三个维度生成独自的域名解析记录,便于服务间调用引导流量。
10799 0
手把手教你在CentOS上搭建Kubernetes集群
作者:ChamPly安装CentOS 1.安装net-tools[root@localhost ~]# yum install -y net-tools2.关闭firewalld[root@localhost ~]# systemctl stop firewalld && systemctl di...
1216 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
11778 0
容器服务kubernetes federation v2实践一:基于External-DNS的多集群Ingress DNS实践
概要 External-DNS提供了编程方式管理Kubernetes Ingress资源的DNS的功能,方便用户从Ingress管理DNS解析记录。而在kubernetes federation v2环境中,使用External-DNS可以快速的管理多个联邦集群的Ingress DNS解析,降低用户的操作成本。
3595 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6636 0
+关注
2
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载