高性能网站架构之缓存篇—Redis集群搭建

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介:

看过 高性能网站架构之缓存篇--Redis安装配置高性能网站架构之缓存篇--Redis使用配置端口转发 这两篇文章的,相信你已经对redis有一定的了解,并能够安装上,进行简单的使用了,但是在咱们的实际应用中,使用redis肯定不会使用单机版,不光是redis不能使用单机版,其他的也不会使用,所以今天我们来说一下redis cluster的安装。      

1.  Redis Cluster的架构图。           

         (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

         (2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

         (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

         (4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护

Redis 集群中内置了 16384 个哈希槽,当需要在Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

2.  redis-cluster投票:容错

          

         (1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.

         (2):什么时候整个集群不可用(cluster_state:fail)?

         a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

        b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.

        ps:当集群不可用时,所有对集群的操作做都不可用,收到((error)CLUSTERDOWN The cluster is down)错误。

3.  安装环境

        Redis Cluster的安装需要的环境我们需要准备好,最重要的最难解决的就是ruby环境,在这里,给大家一个连接,如至直接安装ruby,安装不上的话,大家可以参考这篇文章RubyGems镜像,淘宝的ruby镜像。他是没15分钟更新一次,所以跟国外的基本一样。

4.  集群搭建

        本次为实验教程,所以在一台虚拟机中进行搭建,跟在多台真机上搭建其实没有什么区别,只要保证网络通信ok就可以了!

        我们在几台机器上通过端口号的不同,搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示

主节点:127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003

从节点:127.0.0.1:7004127.0.0.1:7005127.0.0.1:7006

在/usr/local下创建redis-cluster目录,其下创建redis01、redis02。。redis06目录,如下:

        

         然后我们将redis 安装到redis01中,安装完以后我们在将Redis编译目录中的redis。Conf文件复制到redis01目录下,就会看到在redis01目录下会有如下的文件。

        

         然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

        修改每个文件夹下的配置文件,有三点需要修改,每个配置文件都要配置自己的端口号,不能重复。

        

        准备好以上工作以后,我们分别启动每个redis进行的实例。如果麻烦的话,可以自己写一个执行脚本。启动完毕以后我们输入命令ps ax|grep redis ,查看实例是否启动,出现如下所以图片,表示所有的实例都启动了。

       

       实例启动完以后,我们要开始创建集群,在redis-cluter文件夹下执行如下命令。

  1. ./redis-trib.rbcreate --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004127.0.0.1:7005 127.0.0.1:7006。
  2. >>> Creating cluster

  3. Connecting to node 127.0.0.1:7001: OK

  4. Connecting to node 127.0.0.1:7002: OK

  5. Connecting to node 127.0.0.1:7003: OK

  6. Connecting to node 127.0.0.1:7004: OK

  7. Connecting to node 127.0.0.1:7005: OK

  8. Connecting to node 127.0.0.1:7006: OK

  9. >>> Performing hash slotsallocation on 6 nodes...

  10. Using 3 masters:

  11. 127.0.0.1:7001

  12. 127.0.0.1:7002

  13. 127.0.0.1:7003

  14. Adding replica 127.0.0.1:7004 to 127.0.0.1:7001

  15. Adding replica 127.0.0.1:7005 to 127.0.0.1:7002

  16. Adding replica 127.0.0.1:7006 to 127.0.0.1:7003

  17. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001

  18. slots:0-5460 (5461 slots) master

  19. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002

  20. slots:5461-10922 (5462 slots) master

  21. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003

  22. slots:10923-16383 (5461 slots) master

  23. S: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004

  24. replicates 5a8523db7e12ca600dc82901ced06741b3010076

  25. S: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005

  26. replicates bf6f0929044db485dea9b565bb51e0c917d20a53

  27. S: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006

  28. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca

  29. Can I set the above configuration? (type'yes' to accept): yes

  30. >>> Nodes configuration updated

  31. >>> Assign a different configepoch to each node

  32. >>> Sending CLUSTER MEET messagesto join the cluster

  33. Waiting for the cluster to join.....

  34. >>> Performing Cluster Check(using node 127.0.0.1:7001)

  35. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001

  36. slots:0-5460 (5461 slots) master

  37. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002

  38. slots:5461-10922 (5462 slots) master

  39. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003

  40. slots:10923-16383 (5461 slots) master

  41. M: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004

  42. slots: (0 slots) master

  43. replicates 5a8523db7e12ca600dc82901ced06741b3010076

  44. M: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005

  45. slots: (0 slots) master

  46. replicates bf6f0929044db485dea9b565bb51e0c917d20a53

  47. M: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006

  48. slots: (0 slots) master

  49. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca

  50. [OK] All nodes agree about slotsconfiguration.

  51. >>> Check for open slots...

  52. >>> Check slots coverage...

  53. [OK] All 16384 slots covered.
复制代码

这样就表示我们的集群创建成功了!

5.  集群测试

        我们输入redis01/redis-cli -h 127.0.0.1  -p 7002–c命令后,切忌要加入-c,否则我们进入的不是集群环境。进入客户端以后,我们输入set a 100 发现他会进行跳转,这就是因为他经过计算以后,要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了!

        

         关闭redis集群不能直接kill掉进程,或者关机,我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭,这样在关闭之前,数据才能够进行保存。





本文作者:berqilee
本文来自云栖社区合作伙伴rediscn,了解相关信息可以关注redis.cn网站。
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
21小时前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
107 85
|
1月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
1月前
|
消息中间件 缓存 架构师
关于 Kafka 高性能架构,这篇说得最全面,建议收藏!
Kafka 是一个高吞吐量、高性能的消息中间件,关于 Kafka 高性能背后的实现,是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
关于 Kafka 高性能架构,这篇说得最全面,建议收藏!
|
1月前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
1月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
1月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
39 5
|
1月前
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
190 7
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
100 1
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
52 2
数据的存储--Redis缓存存储(二)
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6
下一篇
DataWorks