【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群功能分析)(二)

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群功能分析)

【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群功能分析)(一)https://developer.aliyun.com/article/1471072


复制配置文件


cp /data/redis-x.x.x/redis.conf /data/redis/conf/6379.conf
cp /data/redis-x.x.x/redis.conf /data/redis/conf/6380.conf
cp /data/redis-x.x.x/redis.conf /data/redis/conf/6381.conf

修改配置端口


sed -i "s/6379/6379/g"  /data/redis/conf/6379.conf
sed -i "s/6379/6380/g"  /data/redis/conf/6380.conf
sed -i "s/6379/6381/g"  /data/redis/conf/6381.conf

启动Redis服务


redis-server /data/redis/conf/6379.conf
redis-server /data/redis/conf/6380.conf
redis-server /data/redis/conf/6381.conf

查看Redis服务

查看是否启动成功以及查看redis监听端口。


ps -ef | grep redis 
netstat -tnlp | grep redis

另一台服务器也是相类似的操作即可。

创建Redis集群

现在,我们已经准备好了可以搭建Redis集群的节点。接下来的步骤是将这些节点连接起来,形成一个集群。为了完成这个任务,Redis官方提供了一个工具叫做redis-trib.rb,它的路径是/usr/local/redis-3.2.1/src/redis-trib.rb。需要注意的是,这个工具是通过Ruby编写的,因此在使用之前我们还需要安装Ruby环境。

搭建安装Ruby环境

安装了Ruby和RubyGems

安装Ruby和RubyGems是一个相对简单的过程,以下是一些常见的安装方法:

  1. 使用包管理器安装:
  • 如果您使用的是Ubuntu或Debian系统,可以使用apt包管理器执行以下命令来安装Ruby和RubyGems:
  • bash
  • 复制代码
sudo apt-get update
sudo apt-get install ruby rubygems
  • 如果您使用的是CentOS或RHEL系统,可以使用yum包管理器执行以下命令来安装Ruby和RubyGems:
  • bash
  • 复制代码
sudo yum install ruby rubygems
  1. 使用Ruby版本管理器安装:
  • RVM (Ruby Version Manager) 是一个流行的工具,可让您在同一系统上安装和管理多个Ruby版本。您可以按照RVM官方文档的指导安装RVM,并通过它来安装Ruby和RubyGems。
  • bash
  • 复制代码
\curl -sSL https://get.rvm.io | bash -s stable
source ~/.rvm/scripts/rvm
rvm install ruby
  • rbenv 是另一个常用的Ruby版本管理器,可以帮助您在同一系统上安装和切换不同的Ruby版本。您可以按照rbenv官方文档的指导安装rbenv,并通过它来安装Ruby和RubyGems。
  • bash
  • 复制代码
git clone https://github.com/rbenv/rbenv.git ~/.rbenv
echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(rbenv init -)"' >> ~/.bashrc
source ~/.bashrc
git clone https://github.com/rbenv/ruby-build.git ~/.rbenv/plugins/ruby-build
rbenv install ruby
  • 安装完成后,您可以使用以下命令验证Ruby和RubyGems的安装是否成功:
  • bash
  • 复制代码
ruby --version
gem --version

请根据您的操作系统和偏好选择适合您的安装方法,并确保按照安装指南操作。如果您遇到任何问题,请随时向我提问。

安装扩展依赖库

两台服务器都已经安装了Ruby和RubyGems,并且我们还需要安装一些依赖库。执行以下命令来安装这些库:

shell

复制代码

yum -y install gcc openssl-devel libyaml-devel libffi-devel readline-devel autoconf
yum -y install zlib-devel gdbm-devel ncurses-devel gcc-c++ automake

之后,我们可以使用gem命令来安装Redis接口,gem是Ruby的一个工具包。在安装之前,我们需要更换一下源。执行以下命令来更换源:

shell

复制代码

gem source -l  
gem source --remove http://rubygems.org/
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
gem source -l

然后,执行以下命令来安装Redis:

shell

复制代码

gem install redis

启动Redis集群服务

要完成Redis集群的搭建,首先需要确保所有节点已经启动,并确认两台服务器的防火墙已关闭,以避免出现无法路由到达的错误。下面是一些操作步骤:

  1. 确保所有节点已启动:
  • 在每台服务器上运行适当的命令或脚本,以启动Redis实例。确保所有节点都已成功启动,并没有出现任何错误。
  1. 检查防火墙状态:
  • 在每台服务器上检查防火墙的状态,并确保它们都已关闭。可以使用适当的命令或配置文件来关闭防火墙,以便确保Redis集群中的节点可以互相通信。
  1. 配置Redis集群:
  • 使用redis-trib.rb或其他合适的工具进行配置。例如,使用以下命令可以使用redis-trib.rb工具来配置Redis集群: redis-trib.rb create --replicas <replica_count> : : : ... 其中,<replica_count>是您希望为每个主节点创建的副本数,<ip1>:<port1><ip2>:<port2>等是每个Redis节点的IP地址和端口号。
  1. 验证集群配置:
  • 使用redis-cli工具连接到Redis集群,并运行CLUSTER INFO命令来验证集群的状态。确保所有节点都得到正确识别,并且没有任何错误提示。

实际案例介绍

先测试网络连通性

在服务器A上执行下面语句测试连通性

bash

复制代码

/data/redis-x.x.x/src/redis-cli -h 10.0.0.1 -p 6379
/data/redis-x.x.x/src/redis-cli -h 10.0.0.2 -p 6383
/data/redis-x.x.x/src/redis-cli -h 10.0.0.2 -p 6384

在服务器B上执行下面语句测试连通性

bash

复制代码

redis-cli -h 10.0.0.1 -p 6379
redis-cli -h 10.0.0.1 -p 6380
redis-cli -h 10.0.0.2 -p 6384

如果上面的测试没有问题,则可进行下步操作

创建集群指令

bash

复制代码

##在其中一台服务器执行下面命令即可
/data/redis-x.X.X/src/redis-trib.rb create --replicas 1 10.0.0.1:6379 10.0.0.1:6380 10.0.0.1:6381 
10.0.0.2:6382 10.0.0.2:6383 10.0.0.2:6384
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
10.0.0.1:6379
10.0.0.2:6382
10.0.0.1:6380
Adding replica 10.0.0.2:6383 to 10.0.0.1:6379
Adding replica 10.0.0.1:6381 to 10.0.0.2:6382
Adding replica 10.0.0.2:6384 to 10.0.0.1:6380
M: d0b49faff3332cdf7389948593d4fb59caca1613 10.0.0.1:6379
   slots:0-5460 (5461 slots) master
M: 8c8a578c750b820ce074026e59d4df059eeefd9b 10.0.0.1:6380
   slots:10923-16383 (5461 slots) master
S: 731a69f9df773823be182e27e5001b95766b5528 10.0.0.1:6381
   replicates b73a3a4528920064cba668aa9452f32387292ab6
M: b73a3a4528920064cba668aa9452f32387292ab6 10.0.0.2:6382
   slots:5461-10922 (5462 slots) master
S: 139c02ceb5a2afe9eb0e350ed3170bceb3aa4c4b 10.0.0.2:6383
   replicates d0b49faff3332cdf7389948593d4fb59caca1613
S: af498152476cd4732c47292aff44a57bcd57bb63 10.0.0.2:6384
   replicates 8c8a578c750b820ce074026e59d4df059eeefd9b
Can I set the above configuration? (type 'yes' to accept): yes     #输入yes即可

问题分析

原因rvm版本过低

如果执行gem install redis报下面错误

bash

复制代码

gem install redis
ERROR:  Error installing redis:
redis requires Ruby version >= 2.2.2.

解决方案

bash

复制代码

gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3
curl -L get.rvm.io | bash -s stable
source /usr/local/rvm/scripts/rvm
rvm install 2.3.3
rvm use 2.3.3
rvm use 2.3.3 --default
rvm remove 2.0.0

查看现在版本为2.3.3则对

bash

复制代码

ruby –version
gem install redis

资源文件未重置和清理

bash

复制代码

[OK]All nodes agree about slots configuration.
>>Check for open slots...
>>>Check slots coverage,··
[OK]All 16384 slots covered.
Connecting to node xx.xx.xx.xx:xxx:OK
[ERR]Node xx.xx.xx.xx:xxx is not empty.Either the node already knows other nodes
check with CLUSTER NODES)or contains some key in database 0.

解决方案

  1. 删掉conf文件下的aof和rdb结尾的文件。
  2. 同时将新Node的集群配置文件删除,即:删除你redis.conf里面cluster-config-file所在的文件;
  3. 对新添加节点的数据库进行清除

bash

复制代码

redis-cli -h 10.0.0.1  -p 6379
登录后执行flushdb
redis-cli -h 10.0.0.1  -p 6381
登录后执行flushdb
redis-cli -h 10.0.0.1  -p 6382
登录后执行flushdb

Redis集群操作的演示效果

bash

复制代码

[rootemysql-dbo1 conf]#redis-cli -h 10.0.0.1 -c -p 6379
10.0.0.1:6379>set xxx taknk1
OK
10.0.0.1:6379>get xxx
"taknk1"
10.0.0.1:6379>exit
[rootemysql-db01 conf]#redis-cli -h 10.0.0.2 -c -p 6382
10.0.0.2:6382>get xxx
-Redirected to slot [4407]located at 10.0.0.1:6379
"taknkl'
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6天前
|
负载均衡 监控 NoSQL
Redis的几种主要集群方案
【5月更文挑战第15天】Redis集群方案包括主从复制(基础,读写分离,手动故障恢复)、哨兵模式(自动高可用,自动故障转移)和Redis Cluster(官方分布式解决方案,自动分片、容错和扩展)。此外,还有Codis、Redisson和Twemproxy等工具用于代理分片和负载均衡。选择方案需考虑应用场景、数据量和并发需求,权衡可用性、性能和扩展性。
44 2
|
6天前
|
存储 监控 负载均衡
保证Redis的高可用性是一个涉及多个层面的任务,主要包括数据持久化、复制与故障转移、集群化部署等方面
【5月更文挑战第15天】保证Redis高可用性涉及数据持久化、复制与故障转移、集群化及优化策略。RDB和AOF是数据持久化方法,哨兵模式确保故障自动恢复。Redis Cluster实现分布式部署,提高负载均衡和容错性。其他措施包括身份认证、多线程、数据压缩和监控报警,以增强安全性和稳定性。通过综合配置与监控,可确保Redis服务的高效、可靠运行。
27 2
|
6天前
|
存储 消息中间件 缓存
Redis的高性能使得它非常适合用于实时分析场景
【5月更文挑战第15天】Redis在Python Web开发中扮演关键角色,常用于缓存系统,提高数据读取速度;会话管理,存储用户信息;分布式锁,确保数据一致性;排行榜和计数,利用有序集合和哈希结构;消息队列,基于列表结构实现异步处理;实时分析,高效处理实时数据。其丰富的数据结构和高性能使其在多种场景下应用广泛。
12 3
|
4天前
|
NoSQL 算法 Java
【redis源码学习】持久化机制,java程序员面试算法宝典pdf
【redis源码学习】持久化机制,java程序员面试算法宝典pdf
|
6天前
|
NoSQL Redis 数据库
Redis实现数据持久性主要依赖两种机制
【5月更文挑战第15天】Redis持久化包括RDB快照和AOF日志。RDB通过定时内存数据快照生成文件,恢复速度快但可能丢失部分数据;AOF记录每次写操作,实时性好但文件大、恢复慢。混合持久化兼顾两者优点,提供数据安全与性能平衡。用户可按需选择或组合使用策略。
8 2
|
6天前
|
存储 NoSQL Redis
Redis源码、面试指南(5)多机数据库、复制、哨兵、集群(下)
Redis源码、面试指南(5)多机数据库、复制、哨兵、集群
20 1
|
6天前
|
监控 NoSQL Redis
Redis源码、面试指南(5)多机数据库、复制、哨兵、集群(上)
Redis源码、面试指南(5)多机数据库、复制、哨兵、集群
36 0
|
6天前
|
存储 监控 NoSQL
Redis哨兵&分片集群
Redis哨兵&分片集群
23 0
|
6天前
|
存储 NoSQL 算法
09- Redis分片集群中数据是怎么存储和读取的 ?
Redis分片集群使用哈希槽分区算法,包含16384个槽(0-16383)。数据存储时,通过CRC16算法对key计算并模16383,确定槽位,进而分配至对应节点。读取时,根据槽位找到相应节点直接操作。
73 12
|
6天前
|
NoSQL 算法 Java
深入浅出Redis(八):Redis的集群模式
深入浅出Redis(八):Redis的集群模式