轻松打卡:使用Spring Boot和Redis Bitmap构建高效签到系统【redis实战 四】

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 轻松打卡:使用Spring Boot和Redis Bitmap构建高效签到系统【redis实战 四】

欢迎来到我的博客,代码的世界里,每一行都是一个故事


前言

在数字化时代,签到系统已成为许多应用的标准功能,它不仅帮助我们追踪参与度,还激励着用户的日常活动。但如何在保证响应速度和数据准确性的同时处理成千上万的用户请求呢?这正是Spring Boot遇上Redis Bitmap的舞台。通过这篇文章,我们将踏上一个既充满挑战又充满创新的旅程,一起探索如何利用这两个强大工具打造出一个既高效又可靠的签到系统。

回顾bitmap

Redis Bitmap是一种特殊的数据结构,它使用连续的内存来存储和操作位数据(bit data),每个位可以是0或1。这种结构特别适合于那些需要处理大量布尔值的场景,比如在线状态、签到系统等。Bitmap由于其高效的存储和计算能力,在处理大规模数据时特别有优势。下面是Redis Bitmap的一些基本概念和特性:

基本概念

  1. 位操作:Bitmap的核心是位操作。它允许你设置、获取和计数单个位或一系列位的值。
  2. 存储效率:在Bitmap中,每个布尔值只占用一个位,而不是使用一个完整的字节或更多的空间,这使得它在存储大量布尔值时非常节省空间。
  3. 操作精确性:你可以精确地操作Bitmap中的每一位,这为处理复杂的数据结构提供了可能。

核心特性

  1. SETBIT & GETBIT
  • SETBIT 用于在指定偏移量处设置位的值。
  • GETBIT 用于获取指定偏移量处的位的值。
  • 这两个命令使得单个位的读写操作变得简单快速。
  1. BITCOUNT
  • BITCOUNT 命令用于计数Bitmap中设置为1的位的数量。
  • 可以对整个Bitmap或其特定范围进行计数。
  • 这对于统计和分析大量数据非常有用。
  1. BITOP
  • BITOP 命令用于对两个或多个Bitmap执行位运算(AND、OR、XOR和NOT)。
  • 这可以用来组合多个Bitmaps,计算交集、并集等。
  1. BITFIELD
  • BITFIELD 命令用于对Bitmap执行更复杂的操作,如将位作为整数进行递增。
  • 它提供了更高级别的控制,使得Bitmap可以用于更复杂的场景。
  1. 性能
  • Bitmap操作通常非常快,能够处理每秒数百万次的读写。
  • 它们特别适合高并发环境,如大型网站的在线状态跟踪。
  1. 空间效率
  • Bitmap在存储大量布尔值时极为节省空间。
  • 它特别适合那些值大部分为0的场景,因为Redis内部会进行优化以减少存储需求。

使用场景

  • 在线状态跟踪:跟踪数以百万计用户的在线或活跃状态。
  • 签到系统:记录用户每日的签到情况。
  • 访问统计:统计网站或应用的每日访问量。
  • 特征标记:记录用户或事物的特定特征,如权限、喜好等。

总结来说,Redis的Bitmap提供了一种高效、灵活的方法来处理大量的位级数据。它在存储效率和性能方面都有显著优势,特别适合于那些需要处理大量布尔值的场景。

为什么使用redis中的bitmap实现?

使用Redis Bitmap相比于使用MySQL或其他关系型数据库实现签到系统有一系列的优势。这些优势不仅在于性能上的提升,还包括了存储效率、扩展性和特定场景下的操作便利性。下面详细说明这些优势:

1. 存储效率

  • Bitmap结构:在Redis中,Bitmap以非常紧凑的方式存储数据。每个签到只需要一个位,而在关系型数据库中,你可能需要一个完整的表行来记录同样的信息。这在用户量庞大时尤其节省空间。
  • 内存存储:Redis作为内存数据库,其读写速度远超基于磁盘的关系型数据库。

2. 性能

  • 快速读写:对于Bitmap,无论是设置还是读取位值,时间复杂度都是O(1),这意味着操作的速度极快,几乎不受数据规模影响。
  • 减少I/O操作:由于Redis是内存数据库,所有操作都在内存中完成,避免了磁盘I/O,这在高并发场景下尤为重要。

3. 扩展性和可用性

  • 水平扩展:Redis支持主从复制、持久化、分区等多种特性,使得它可以很好地扩展并保持高可用性。
  • 成熟的集群支持:Redis集群提供了一种易于扩展和具有容错能力的方式,可以在多个节点上平衡负载。

4. 位操作的优势

  • 内置位操作:Redis提供了丰富的位操作命令(如SETBITGETBITBITCOUNT等),使得处理像签到这样的布尔值数据更加方便和高效。
  • 批量操作和原子性:可以原子性地对多个位进行操作,而在关系型数据库中实现同样的效果可能需要复杂的事务管理。

5. 灵活性和简易性

  • 简单的数据模型:相比关系型数据库复杂的表结构和关系,Redis的数据模型简单直观,易于理解和使用。
  • 快速开发和部署:对于开发人员来说,使用Redis通常意味着更少的设置和配置,可以更快速地开发和部署应用。

6. 成本效益

  • 减少硬件需求:由于Redis的高效率,相同负载下可能需要更少的硬件资源。
  • 降低维护成本:Redis简单的架构和少量的依赖使得维护工作相对更简单。

构思与实现逻辑

在上面提到的实现中,签到系统的基础逻辑是使用Redis的Bitmap来跟踪用户的每日签到状态。这种实现方式利用了Bitmap的高效存储和快速位操作特性,适合处理大量用户和高频率的签到事件。以下是对这个实现的基础逻辑和关键组件的详细介绍:

基础逻辑

  1. 每日签到
  • 每当用户签到时,系统会在Bitmap中的特定位置设置一个位(将其设为1)。
  • 位置通常由日期决定,例如,可以使用年内的天数作为偏移量。
  1. 统计查询
  • 系统可以通过计算Bitmap中设置为1的位的数量来统计签到次数。
  • 可以计算总签到次数、指定日期范围内的签到次数等。

Key的组成

在实现中,关键的是如何构造用于Bitmap的key。一个好的key设计既能确保访问的效率,又能方便与其他系统(如MySQL中的用户信息)进行交互。

  1. 用户标识
  • 每个用户应有唯一标识,如用户ID。这个标识会成为key的一部分,确保每个用户的签到信息是隔离的。
  1. 时间信息
  • 为了便于管理和查询,通常会在key中包含时间信息,如年份。这样可以每年为用户创建新的Bitmap,也便于历史数据的归档和查询。
  1. 前缀或命名空间
  • 为了更好的组织和区分不同的数据,可以在key前加上前缀或命名空间,如signin:

示例Key: signin:userId:2023

与MySQL的交互

  1. 用户详细信息
  • 在MySQL中维护用户的详细信息,如姓名、邮箱、注册日期等。
  • 每个用户记录都有一个唯一的ID,这个ID与Redis中使用的用户ID相对应。
  1. 数据关联
  • 当需要获取用户的签到信息以及详细信息时,可以先从Redis获取签到数据,然后使用从Redis得到的用户ID去MySQL中查询详细信息。
  • 这样的关联查询使得我们既能利用Redis的高性能,又能保持复杂数据的完整性和丰富性。
  1. 数据一致性
  • 确保在用户信息更新时(如用户ID变更),Redis中相应的key也同步更新,以维护数据的一致性。

优势和考虑

  • 高效存储:使用Bitmap存储签到信息极大地减少了所需的存储空间。
  • 快速操作:位操作的时间复杂度为O(1),即使是在大量数据面前也能保持高性能。
  • 灵活扩展:通过适当的key设计,系统可以灵活地进行扩展,如按年归档数据。
  • 与关系型数据库交互:通过在Redis和MySQL之间建立良好的数据关联,系统可以同时利用两者的优势。

通过以上的基础逻辑和key组成策略,你的签到系统将能够高效、灵活地处理用户的签到数据,并且能够方便地与存储在MySQL中的用户详细信息进行交互。

签到系统实现

maven依赖

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
  <groupId>org.projectlombok</groupId>
  <artifactId>lombok</artifactId>
</dependency>

service实现

package fun.bo.service;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;
import java.time.DayOfWeek;
import java.time.LocalDate;
import java.time.temporal.TemporalAdjusters;
import java.util.BitSet;
/**
 * @author xiaobo
 */
@Service
public class SignInService {
    // 这里可以不写构造方法,直接用@RequiredArgsConstructor实现,可参考<a href="https://blog.csdn.net/Mrxiao_bo/article/details/135113649">一行注解,省却百行代码:深度解析@RequiredArgsConstructor的妙用</>
    private final RedisTemplate<String, byte[]> redisTemplate;
    public SignInService(RedisTemplate<String, byte[]> redisTemplate) {
        this.redisTemplate = redisTemplate;
    }
    // 签到
    public void signIn(long userId) {
        LocalDate today = LocalDate.now();
        int dayOfYear = today.getDayOfYear();
        // 使用用户ID和年份作为key,确保每年的数据是独立的
        String key = "sign_in:" + userId + ":" + today.getYear();
        redisTemplate.opsForValue().setBit(key, dayOfYear, true);
    }
    
    // 获取今天签到的人数
    public long countSignInToday() {
        LocalDate today = LocalDate.now();
        return countSignInOnDate(today);
    }
    // 获取本周签到的人数
    public long countSignInThisWeek() {
        LocalDate today = LocalDate.now();
        // 获取本周的开始和结束日期
        LocalDate startOfWeek = today.with(TemporalAdjusters.previousOrSame(DayOfWeek.MONDAY));
        LocalDate endOfWeek = today.with(TemporalAdjusters.nextOrSame(DayOfWeek.SUNDAY));
        return countSignInBetweenDates(startOfWeek, endOfWeek);
    }
    // 获取本月签到的人数
    public long countSignInThisMonth() {
        // 获取本月的开始和结束日期
        LocalDate startOfMonth = LocalDate.now().with(TemporalAdjusters.firstDayOfMonth());
        LocalDate endOfMonth = LocalDate.now().with(TemporalAdjusters.lastDayOfMonth());
        return countSignInBetweenDates(startOfMonth, endOfMonth);
    }
    // 获取特定日期签到的人数
    private long countSignInOnDate(LocalDate date) {
        int dayOfYear = date.getDayOfYear();
        String keyPattern = "sign_in:*:" + date.getYear();
        return redisTemplate.keys(keyPattern).stream()
                .filter(key -> redisTemplate.opsForValue().getBit(key, dayOfYear))
                .count();
    }
    // 获取日期范围内签到的人数
    private long countSignInBetweenDates(LocalDate start, LocalDate end) {
        long count = 0;
        // 遍历日期范围
        for (LocalDate date = start; !date.isAfter(end); date = date.plusDays(1)) {
            count += countSignInOnDate(date);
        }
        return count;
    }
    // 获取用户当月签到次数
    public long countUserSignInThisMonth(long userId) {
        LocalDate startOfMonth = LocalDate.now().with(TemporalAdjusters.firstDayOfMonth());
        LocalDate endOfMonth = LocalDate.now().with(TemporalAdjusters.lastDayOfMonth());
        String key = "sign_in:" + userId + ":" + LocalDate.now().getYear();
        byte[] bitmap = redisTemplate.opsForValue().get(key);
        BitSet bitSet = BitSet.valueOf(bitmap);
        long count = 0;
        for (int day = startOfMonth.getDayOfYear(); day <= endOfMonth.getDayOfYear(); day++) {
            count += bitSet.get(day) ? 1 : 0;
        }
        return count;
    }
}

有坑注意:RedisTemplate<String, byte[]>,这里要留意,如果你的bean中序列化Value的时候用的非字节数组,可能会报错如下

2023-12-25 11:12:55.163 ERROR 56398 --- [nio-7004-exec-9] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.data.redis.serializer.SerializationException: Could not read JSON: Illegal character ((CTRL-CHAR, code 0)): only regular white space (\r, \n, \t) is allowed between tokens
 at [Source: (byte[])"\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0001"; line: 1, column: 2]; nested exception is com.fasterxml.jackson.core.JsonParseException: Illegal character ((CTRL-CHAR, code 0)): only regular white space (\r, \n, \t) is allowed between tokens
 at [Source: (byte[])"\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0001"; line: 1, column: 2]] with root cause

controller实现

package fun.bo.controller;
import fun.bo.service.SignInService;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class SignInController {
    private final SignInService signInService;
    public SignInController(SignInService signInService) {
        this.signInService = signInService;
    }
    // ... 保留之前的signIn和count方法 ...
    @GetMapping("/signin/count/today")
    public String countSignInToday() {
        long count = signInService.countSignInToday();
        return "Total sign-ins today: " + count;
    }
    @GetMapping("/signin/count/week")
    public String countSignInThisWeek() {
        long count = signInService.countSignInThisWeek();
        return "Total sign-ins this week: " + count;
    }
    @GetMapping("/signin/count/month")
    public String countUserSignInThisMonth(@RequestParam long userId) {
        long count = signInService.countUserSignInThisMonth(userId);
        return "Total sign-ins this month for user " + userId + ": " + count;
    }
    @PostMapping("/signin")
    public String signIn(@RequestParam("userId") Long userId) {
        // 调用签到服务来处理签到
        signInService.signIn(userId);
        return "User " + userId + " signed in successfully.";
    }
}

前端页面简化版

<!DOCTYPE html>
<html>
<head>
    <title>签到系统</title>
    <meta charset="UTF-8"> <!-- 指定页面字符集为UTF-8 -->
</head>
<body>
<h1>欢迎来到签到系统</h1>
<div>
    <h2>用户签到</h2>
    用户ID:<input type="number" id="userIdInput" placeholder="输入用户ID">
    <button onclick="signIn()">签到</button>
</div>
<div>
    <h2>今日签到人数</h2>
    <button onclick="countSignInToday()">查询</button>
    <p id="todayCount"></p>
</div>
<div>
    <h2>本周签到人数</h2>
    <button onclick="countSignInThisWeek()">查询</button>
    <p id="weekCount"></p>
</div>
<div>
    <h2>本月用户签到次数</h2>
    用户ID:<input type="number" id="userId">
    <button onclick="countUserSignInThisMonth()">查询</button>
    <p id="monthCount"></p>
</div>
<script>
    function signIn() {
        // 请替换为你的实际用户ID和API端点
        let userId = document.getElementById('userIdInput').value;
        if (!userId) {
            alert("请先输入用户ID!");
            return;
        }
        fetch('/signin?userId=' + userId, { method: 'POST' })
            .then(response => alert('签到成功!'))
            .catch(error => console.error('Error:', error));
    }
    function countSignInToday() {
        fetch('/signin/count/today')
            .then(response => response.text())
            .then(data => document.getElementById('todayCount').innerText = data)
            .catch(error => console.error('Error:', error));
    }
    function countSignInThisWeek() {
        fetch('/signin/count/week')
            .then(response => response.text())
            .then(data => document.getElementById('weekCount').innerText = data)
            .catch(error => console.error('Error:', error));
    }
    function countUserSignInThisMonth() {
        let userId = document.getElementById('userId').value;
        fetch('/signin/count/month?userId=' + userId)
            .then(response => response.text())
            .then(data => document.getElementById('monthCount').innerText = data)
            .catch(error => console.error('Error:', error));
    }
</script>
</body>
</html>

功能展现图

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4天前
|
存储 缓存 NoSQL
深入解析Redis:一种快速、高效的键值存储系统
**Redis** 是一款高性能的键值存储系统,以其内存数据、高效数据结构、持久化机制和丰富的功能在现代应用中占有一席之地。支持字符串、哈希、列表、集合和有序集合等多种数据结构,适用于缓存、计数、分布式锁和消息队列等场景。安装Redis涉及下载、编译和配置`redis.conf`。基本操作包括键值对的设置与获取,以及哈希、列表、集合和有序集合的操作。高级特性涵盖发布/订阅、事务处理和Lua脚本。优化策略包括选择合适数据结构、配置缓存和使用Pipeline。注意安全、监控和备份策略,以确保系统稳定和数据安全。
53 1
|
22天前
|
XML Java 数据库连接
spring boot 参数的过滤注解与实战
在Spring Boot应用中,对于入参的过滤,通常会涉及到对Web层的数据验证和处理。Spring Boot借助Spring框架提供了强大的验证框架支持,主要基于JSR-303/JSR-380(Bean Validation API)规范,以及Spring自身的@Valid或@Validated注解来实现请求参数的验证。以下是一些常见的使用案例来展示如何对参数进行过滤和验证。
24 1
|
1月前
|
Java Spring 容器
【二十二】springboot整合拦截器实战并对比过滤器
【二十二】springboot整合拦截器实战并对比过滤器
28 0
|
1月前
|
NoSQL Linux Redis
Linux系统中安装redis+redis后台启动+常见相关配置
Linux系统中安装redis+redis后台启动+常见相关配置
|
21天前
|
存储 缓存 安全
Spring Boot从入门到实战
本课程从SpringBoot的最基础的安装、配置开始到SpringBoot的日志管理、Web业务开发、数据存储、数据缓存,安全控制及相关企业级应用,全程案例贯穿,案例每一步的都会讲解实现思路,全程手敲代码实现。让你不仅能够掌SpringBoot的应用,还能了解背后的原理,学习完本课程后,能够让你动手独立完成一个中小型的SpringBoot Web应用开发。
17 1
Spring Boot从入门到实战
|
25天前
|
缓存 NoSQL Java
spring cache整合redis实现springboot项目中的缓存功能
spring cache整合redis实现springboot项目中的缓存功能
40 1
|
28天前
|
存储 NoSQL Java
[Redis]——Spring整合Redis(SpringDataRedis)
[Redis]——Spring整合Redis(SpringDataRedis)
|
29天前
|
监控 NoSQL Java
Spring Boot集成Redis启动失败【Caused by: java.lang.ClassNotFoundException: org.apache.commons.pool2.impl.G】
Spring Boot集成Redis启动失败【Caused by: java.lang.ClassNotFoundException: org.apache.commons.pool2.impl.G】
|
1月前
|
消息中间件 Java 关系型数据库
【二十】springboot整合ElasticSearch实战(万字篇)
【二十】springboot整合ElasticSearch实战(万字篇)
186 47
|
1月前
|
Java API Maven
使用Java和Spring Boot构建RESTful API
使用Java和Spring Boot构建RESTful API
15 0