Springboot + Redis 4.x.x 搭建集群

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
日志服务 SLS,月写入数据量 50GB 1个月
简介: Redis集群的搭建简单介绍Redis简单说一下Redis是什么,在我的理解中redis作为一个高性能的NoSql数据库,一种键值对的存储方式,并且这种键值对的类型很丰富,比如list、map等,寄存在内存中,并且可以实现持久化,并且redis支持...

Redis集群的搭建

简单介绍Redis

简单说一下Redis是什么,在我的理解中redis作为一个高性能的NoSql数据库,一种键值对的存储方式,并且这种键值对的类型很丰富,比如list、map等,寄存在内存中,并且可以实现持久化,并且redis支持对很多语言的客户端

Redis提供给Java操作的客户端Jedis

对Java来说这种由Redis官方提供的操作工具就是Jedis,介绍这种客户端之前,做过后端的人都清楚,假如用Mysql举例来说,连接Mysql的时候同样需要数据库连接池,因为有的时候其实执行一条Sql的效率很快,但是通过Tcp建立连接的时候可能会遇到一些复杂的情景,或者说建立时间会影响本该很简单的一条Sql的执行效率

这个时候就需要使用到数据库连接池,说白了数据库连接池的作用是,可以通过默认的配置或者指定配置指明数据库连接池中活跃的连接数,最小连接数以及最大连接数,当有一个请求到来应用服务器并且需要执行Sql的时候,就需要建立到数据库的连接,有了数据库连接池,这个时候只需要使用未被使用却已经建立好连接的一条与数据库之间的连接,使用完成后归还即可,Jedis作为NoSql数据库来说同样也有数据库连接池的存在来提高整体的性能

Deepin环境下搭建Redis集群

  • 下载Redis解压包进入src下安装

    sudo make && make install PREFIX=/usr/local/redis
    

    简单来说就是编译下载下来的源文件并进行安装,安装目录为/usr/local/redis

下面开始搭建Redis集群,之前踩的坑或者一些没必要的点我也会说出来让大家参考一下

第一个坑

使用make && make install安装多个Redis,这个问题是我之前没有理解Redis能干什么,并且参照了Tomcat集群搭建方式犯下的错,并且网络上有些博客也是如此做法,实际上通过配置不同的redis.conf文件就能够通过使用redis-server启动不同配置下的不同Redis实例

  • 将Redis下的redis.conf移动到/usr/local/redis下,并且在目录下创建cluster目录

  • cluster下创建conf文件夹,并且复制该redis.conf生成5个副本

    img_295f4cb37f63d5add4b456fc5b39b521.png
    目录下文件结构
  • 修改配置文件中的字段

    port 6379~6384(共6台Redis的开放端口)
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    appendonly yes
    daemonize yes
    
  • 上面的配置主要为开放端口的配置以及开启集群功能,使用各自的.conf文件,集群节点重试时间,以及后台运行设置为yes

  • 接下来回到bin目录下使用

    ./redis-server cluster/conf/redis-main.conf
    ./redis-server cluster/conf/redis-1.conf
    ./redis-server cluster/conf/redis-2.conf
    ./redis-server cluster/conf/redis-3.conf
    ./redis-server cluster/conf/redis-4.conf
    ./redis-server cluster/conf/redis-5.conf
    

    使用这6条命令开启6台Redis服务器实例

第二个坑

我以为这样设置之后,并且开启了6台Redis服务器实例之后,就可以在项目中使用了,并且在springboot项目中使用如下配置

spring:
  redis:
    cluster:
      nodes[0]: 127.0.0.1:6379
      nodes[1]: 127.0.0.1:6381
      nodes[2]: 127.0.0.1:6382
      nodes[3]: 127.0.0.1:6383
      nodes[4]: 127.0.0.1:6384
      nodes[5]: 127.0.0.1:6385
      max-redirects: 3
    jedis:
      pool:
        max-active: 8
        min-idle: 0

使用spring.redis.cluster节点通过数组类型配置了集群的Redis的ip以及端口,详细使用可以参考Spring-data-redis的官方文档,如下

@Component
@ConfigurationProperties(prefix = "spring.redis.cluster")
public class ClusterConfigurationProperties {

    /*
     * spring.redis.cluster.nodes[0] = 127.0.0.1:7379
     * spring.redis.cluster.nodes[1] = 127.0.0.1:7380
     * ...
     */
    List<String> nodes;

    /**
     * Get initial collection of known cluster nodes in format {@code host:port}.
     *
     * @return
     */
    public List<String> getNodes() {
        return nodes;
    }

    public void setNodes(List<String> nodes) {
        this.nodes = nodes;
    }
}

这样的话就可以使用一个LIst集合去接收集群节点的ip和端口配置

如何搭建Redis集群?

参考Redis的官方文档以及博客我发现,Redis的官方文档表示,他们在src下已经有Ruby写好的搭建Redis的脚本,我们只需要使用ruby去运行即可搭建一个集群环境

首先大家自行百度如何进行安装ruby环境,并且通过gem命令安装支持搭建redis集群的插件,gem其实就是一种文件组织的包,一般的ruby很多插件都由这种包提供

gem install redis

安装了支持搭建redis集群的ruby插件之后,下面开始执行Redis官方提供的搭建集群的脚本

ruby /home/zeng/redis/src/redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384

使用create命令来创建一个新的集群。选项--replicas 1表示我们想为每个master指定一个slave。其余参数是需要加到集群的实例地址

img_5aadb88d56f1834abccacb8033a21c95.png
使用ruby脚本创建Redis集群时的日志

我们来关注一下这些日志,首先我们构建了一个有6个实例的Redis集群,构建后的集群是3个主库和3个从库,可以看到脚本的默认实现是创建主从库形式,在Redis中,主从库的形式可以让一个服务器去复制(replicate)另一个服务器,我们称呼被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则被称为从服务器(slave),主从库的设计,基本上都是主库负责读写,从库只读,这样来降低单Redis的性能问题,可以看到日志M标注的是主库,S标记的是从库,并且也有哪些从库从属于哪些主库的日志这样的话,16384个扇区全部被分上了Redis节点,这样的话真正的Redis集群才算搭建完成

SpringBoot项目对Redis集群的操作

框架之所以称之为框架,就是因为在原生的基础上有了很多条条框框,虽然框架是对原生的一种高度封装以及高度抽象,让用户只需要关注如何使用而不需要关注实现细节,但是我个人觉得,框架使用久了之后,用我们实验室小组组长的话说:真的很容易框进去

官方文档中SPring-data-redis对Redis集群的支持

@Configuration
public class AppConfig {

    /**
     * Type safe representation of application.properties
     */
    @Autowired ClusterConfigurationProperties clusterProperties;

    public @Bean RedisConnectionFactory connectionFactory() {

        return new JedisConnectionFactory(
            new RedisClusterConfiguration(clusterProperties.getNodes()));
    }
}



//下面是操作的伪代码

RedisClusterConnection connection = connectionFactory.getClusterConnnection();

connection.set("thing1", value);                                               
connection.set("thing2", value);                                               

connection.keys("*");                                                          

connection.keys(NODE_7379, "*");                                               
connection.keys(NODE_7380, "*");                                               
connection.keys(NODE_7381, "*");                                               
connection.keys(NODE_7382, "*");                                               

大概来说其实就是注册一个返回对Redis集群操作的connect的Bean,并且通过这个Bean注入到需要使用的代码块中,使用这个connect进行操作

因为代码中已有的Redis操作工具类是使用RedisTemplate实现的,使用过Springboot构建项目并且使用过Redis作为缓存或者别的用途的开发者应该都能了解过RedisTemplate,这个类其实也是Spring团队花了大功夫封装的类,它真的能够让我觉得,使用它进行操作Redis的时候没有连接池这一回事在,并且使用它操作Redis的时候完全不需要考虑如何实现,总之它就能实现

/**
     * redis存储方法
     * @param key
     * @param value
     */
    public void setRedisValue(String key, String value) {

        try {
            
            redisTemplate.opsForValue().set(key, value);
            
        } catch (Exception e) {
            logger.error("set key {} value {} error", key, value, e);
        }

    }

上面的例子介绍了是如何使用RedisTemplate进行操作Redis实例进行存放键值对的,当然上面说了那些话并不是想让大家觉得框架不好,框架在某种程度真的很能帮助开发,尤其是在实现一些使用原生逻辑很难实现的东西的时候,框架便发挥的他的作用,关于RedisTemplate的使用以及分析,我就不在这里赘述了

难道必须要使用connect获取到与集群Redis的连接之后才能操作数据库吗?RedisTemplate就不行吗?

具体的分析可以参考这篇博客:http://www.360doc.com/content/17/1116/14/412471_704352623.shtml

我在使用RedisTemplate之前封装的方法的时候完全也可以做到在集群上操作的目的,这样的话Redis集群的搭建以及Springboot工程对集群的支持就可以到这里了

下面为大家展示几个demo

@SpringBootTest
@RunWith(SpringRunner.class)
public class RedisTest {

    @Autowired
    private RedisUtil redisUtil;

    @Test
    public void cluster() {
        
        for (int i = 0; i < 100; i++) {
            redisUtil.setRedisValue(i + "", i + "  ");
        }
    }
}

其中RedisUtil作为使用RedisTemplate操作Redis的工具类我声明为了组件@Component以便注入测试,目的很明确,循环100次将key=i且value=i的键值存入Redis集群中

看一下结果就结束这次的说明吧,节点的分布以及一致性哈希算法看下一篇博客

img_146eb1e903fbe5e97f9fc572441f4039.png
未执行代码前的6379和6380节点
img_a40ce22ca2fa2cb3b679655118ad57c4.png
执行后的6379节点中的key
img_e7500352cf3040b267f5ead563bcd8ef.png
执行后的6382节点中的key

可以看到节点内的数值基本互不一直,下篇博客将为大家介绍一致性Hash算法

第一次用自己的话写博客,如有错误请各位指正

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
编解码 NoSQL Java
使用Spring Boot + Redis 队列实现视频文件上传及FFmpeg转码的技术分享
【8月更文挑战第30天】在当前的互联网应用中,视频内容的处理与分发已成为不可或缺的一部分。对于视频平台而言,高效、稳定地处理用户上传的视频文件,并对其进行转码以适应不同设备的播放需求,是提升用户体验的关键。本文将围绕使用Spring Boot结合Redis队列技术来实现视频文件上传及FFmpeg转码的过程,分享一系列技术干货。
140 3
|
17天前
|
NoSQL Java Redis
redis的基本命令,并用netty操作redis(不使用springboot或者spring框架)就单纯的用netty搞。
这篇文章介绍了Redis的基本命令,并展示了如何使用Netty框架直接与Redis服务器进行通信,包括设置Netty客户端、编写处理程序以及初始化Channel的完整示例代码。
26 1
redis的基本命令,并用netty操作redis(不使用springboot或者spring框架)就单纯的用netty搞。
|
17天前
|
缓存 NoSQL Java
springboot的缓存和redis缓存,入门级别教程
本文介绍了Spring Boot中的缓存机制,包括使用默认的JVM缓存和集成Redis缓存,以及如何配置和使用缓存来提高应用程序性能。
55 1
springboot的缓存和redis缓存,入门级别教程
|
2天前
|
缓存 NoSQL Java
Spring Boot与Redis:整合与实战
【10月更文挑战第15天】本文介绍了如何在Spring Boot项目中整合Redis,通过一个电商商品推荐系统的案例,详细展示了从添加依赖、配置连接信息到创建配置类的具体步骤。实战部分演示了如何利用Redis缓存提高系统响应速度,减少数据库访问压力,从而提升用户体验。
9 2
|
11天前
|
JSON NoSQL Java
springBoot:jwt&redis&文件操作&常见请求错误代码&参数注解 (九)
该文档涵盖JWT(JSON Web Token)的组成、依赖、工具类创建及拦截器配置,并介绍了Redis的依赖配置与文件操作相关功能,包括文件上传、下载、删除及批量删除的方法。同时,文档还列举了常见的HTTP请求错误代码及其含义,并详细解释了@RequestParam与@PathVariable等参数注解的区别与用法。
|
10天前
|
NoSQL Java Redis
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
这篇文章介绍了如何使用Spring Boot整合Apache Shiro框架进行后端开发,包括认证和授权流程,并使用Redis存储Token以及MD5加密用户密码。
16 0
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
|
22天前
|
缓存 NoSQL Java
Springboot自定义注解+aop实现redis自动清除缓存功能
通过上述步骤,我们不仅实现了一个高度灵活的缓存管理机制,还保证了代码的整洁与可维护性。自定义注解与AOP的结合,让缓存清除逻辑与业务逻辑分离,便于未来的扩展和修改。这种设计模式非常适合需要频繁更新缓存的应用场景,大大提高了开发效率和系统的响应速度。
42 2
|
1月前
|
JSON NoSQL Java
redis的java客户端的使用(Jedis、SpringDataRedis、SpringBoot整合redis、redisTemplate序列化及stringRedisTemplate序列化)
这篇文章介绍了在Java中使用Redis客户端的几种方法,包括Jedis、SpringDataRedis和SpringBoot整合Redis的操作。文章详细解释了Jedis的基本使用步骤,Jedis连接池的创建和使用,以及在SpringBoot项目中如何配置和使用RedisTemplate和StringRedisTemplate。此外,还探讨了RedisTemplate序列化的两种实践方案,包括默认的JDK序列化和自定义的JSON序列化,以及StringRedisTemplate的使用,它要求键和值都必须是String类型。
redis的java客户端的使用(Jedis、SpringDataRedis、SpringBoot整合redis、redisTemplate序列化及stringRedisTemplate序列化)
|
23天前
|
存储 NoSQL Java
Spring Boot项目中使用Redis实现接口幂等性的方案
通过上述方法,可以有效地在Spring Boot项目中利用Redis实现接口幂等性,既保证了接口操作的安全性,又提高了系统的可靠性。
22 0
|
2月前
|
缓存 NoSQL Java
惊!Spring Boot遇上Redis,竟开启了一场缓存实战的革命!
【8月更文挑战第29天】在互联网时代,数据的高速读写至关重要。Spring Boot凭借简洁高效的特点广受开发者喜爱,而Redis作为高性能内存数据库,在缓存和消息队列领域表现出色。本文通过电商平台商品推荐系统的实战案例,详细介绍如何在Spring Boot项目中整合Redis,提升系统响应速度和用户体验。
58 0