【实战】使用Lua脚本怎么清理redis中的数据【实战】使用Lua脚本怎么清理redis中的数据

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 首先我们通过hiredis 向redis 中写入了数据,这里我们主要以测试为目的,所以,Key 值设定为毫秒级时间戳。

概述

  1. 首先我们通过hiredis 向redis 中写入了数据,这里我们主要以测试为目的,所以,Key 值设定为毫秒级时间戳。
  2. 但是当我们测试完成之后,需要验证实际情况,这里我们直接使用redis-cli 登录数据库看看。
  3. 本次测试完成,接下来要结合业务开始测试,需要清理数据库,但是一条一条的删除太慢了。这里给出lua 脚本,以及使用方式。

接下来为具体实际内容。

详述

通过消息队列接收数据,并向redis中存储。

使用技术栈:ZeroMQ、redis

简述:通过消息队列接收转发的消息内容,存储到缓存数据库中。

key-value: 毫秒级时间戳-消息内容

/*
 * @Author       : Zry && 978524088@qq.com
 * @Date         : 2023-07-05 15:31:34
 * @LastEditors  : Zry && 978524088@qq.com
 * @LastEditTime : 2023-07-05 15:46:04
 * @FilePath     : /zryTest/src/include/redis/redis_zmq/receiver.c
 * @Description  :
 *
 * Copyright (c) 2023 by 978524088@qq.com, All Rights Reserved.
 */
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>
#include <zmq.h>
#include <hiredis/hiredis.h>
// 定义Redis服务器的地址和端口
#define REDIS_HOST "127.0.0.1"
#define REDIS_PORT 6379
// 定义消息的最大长度
#define MAX_MESSAGE_SIZE 1024
long long current_timestamp()
{
    struct timespec ts;
    clock_gettime(CLOCK_MONOTONIC, &ts);
    return ts.tv_sec * 1000LL + ts.tv_nsec / 1000000LL;
}
int main()
{
    // 创建zmq的上下文和socket,用于接收路由消息
    void *context = zmq_ctx_new();
    void *socket = zmq_socket(context, ZMQ_ROUTER);
    zmq_bind(socket, "tcp://*:5566");
    while (1)
    {
        // 接收路由消息的各个部分
        zmq_msg_t identity;
        zmq_msg_init(&identity);
        zmq_msg_recv(&identity, socket, 0);
        zmq_msg_t empty;
        zmq_msg_init(&empty);
        zmq_msg_recv(&empty, socket, 0);
        zmq_msg_t message;
        zmq_msg_init(&message);
        zmq_msg_recv(&message, socket, 0);
        // 获取消息内容和类型
        char *content = (char *)zmq_msg_data(&message);
        size_t content_size = zmq_msg_size(&message);
        char *type = (char *)zmq_msg_data(&empty);
        size_t type_size = zmq_msg_size(&empty);
        // 获取当前时间戳
        long long timestamp = current_timestamp();
        // 将消息存储到Redis缓存中
        redisContext *redis = redisConnect(REDIS_HOST, REDIS_PORT);
        if (redis != NULL && redis->err == 0)
        {
            // 构造Key
            char key[256];
            snprintf(key, sizeof(key), "%lld:%.*s", timestamp, (int)type_size, type);
            // 存储消息内容到Redis
            redisReply *reply = (redisReply *)redisCommand(redis, "SET %s %b", key, content, content_size);
            freeReplyObject(reply);
            // 打印存储结果
            printf("Stored message: %s\n", key);
            // 断开与Redis服务器的连接
            redisFree(redis);
        }
        else
        {
            printf("Failed to connect to Redis server\n");
        }
        // 释放消息
        zmq_msg_close(&identity);
        zmq_msg_close(&empty);
        zmq_msg_close(&message);
    }
    // 关闭zmq的socket和上下文
    zmq_close(socket);
    zmq_ctx_destroy(context);
    return 0;
}


通过 redis-cli 登录数据库查看具体的数据内容。

要通过Redis直接查看数据内容,你可以使用Redis的命令行工具redis-cli来连接到Redis服务器,并执行相应的命令来查看数据。


以下是一些常用的Redis命令,可以帮助你查看数据内容:


查看所有键:使用KEYS *命令可以列出所有的键。

KEYS *


获取键的值:使用GET命令可以获取指定键的值。

GET key

将key替换为你要查看的键的名称。


获取哈希表的字段和值:使用HGETALL命令可以获取指定哈希表的所有字段和值。

HGETALL hash

将hash替换为你要查看的哈希表的名称。


获取列表的元素:使用LRANGE命令可以获取指定列表的指定范围内的元素。

LRANGE list start stop

将list替换为你要查看的列表的名称,start和stop分别替换为范围的起始和结束索引。


获取集合的元素:使用SMEMBERS命令可以获取指定集合的所有元素。

SMEMBERS set

将set替换为你要查看的集合的名称。


获取有序集合的元素:使用ZRANGE命令可以获取指定有序集合的指定范围内的元素。

ZRANGE zset start stop

将zset替换为你要查看的有序集合的名称,start和stop分别替换为范围的起始和结束索引。


这里我使用 KEYS *查看,因为现在只有我存储的少量数据

127.0.0.1:6379> KEYS *
.......
1054) "3673007893:Hello, world!"
1055) "3673008590:"
1056) "3673009630:test"
1057) "3673010538:"
1058) "3673008562:"
1059) "3673010512:client"
1060) "3673008640:Hello, world!"
1061) "3673009571:client"
1062) "3673010513:Hello, world!"
1063) "3673006965:Hello, world!"
1064) "3673008613:Hello, world!"
1065) "3673006999:Hello, world!"


至此可以确认,数据已经从消息队列读取出,并保存到数据库中了。


使用lua 脚本 清理数据内容。

接下来,将设计具体消息内容,key 键种类、过期时间、为了数据干净,现在先要把当前存在的数据清理掉。


因为redis 我没找到直接形如 DEL * 的方式删掉全部,所以干脆通过lua 脚本 来批量删除


使用以下 的Lua脚本来批量删除键:


local keys = redis.call('KEYS', ARGV[1])
for i, key in ipairs(keys) do
    redis.call('DEL', key)
end



将这个修正后的Lua脚本保存到一个文件中,例如delete_keys.lua。


然后,使用以下命令来执行Lua脚本并批量删除键:


redis-cli EVAL "$(cat delete_keys.lua)" 0 prefix:*

将prefix:*替换为实际的键的模式。


这个命令使用了Redis的EVAL命令和Lua脚本。它通过EVAL命令执行Lua脚本,并将键的模式作为参数传递给Lua脚本。Lua脚本使用KEYS命令获取匹配模式的键的列表,并使用DEL命令多次调用来删除每个键。


请注意,使用DEL命令删除键是不可逆的操作,一旦删除就无法恢复。在执行删除操作之前,请确保你已经备份了需要保留的数据。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
存储 NoSQL 定位技术
Redis Geo:掌握地理空间数据的艺术
Redis Geo:掌握地理空间数据的艺术
81 0
|
4天前
|
缓存 NoSQL Java
【Redis】5、Redis 的分布式锁、Lua 脚本保证 Redis 命令的原子性
【Redis】5、Redis 的分布式锁、Lua 脚本保证 Redis 命令的原子性
17 0
|
1天前
|
NoSQL Java 数据库连接
使用Java实现从数据库查出数据存入Redis,并在查询时先查Redis,如果Redis中没有数据再从数据库中读取
使用Java实现从数据库查出数据存入Redis,并在查询时先查Redis,如果Redis中没有数据再从数据库中读取
165 0
|
9天前
|
SQL NoSQL Redis
Flink数据问题之数据写入Redis失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
14天前
|
存储 缓存 NoSQL
为什么要在 Redis 中存储两次同一份数据?
为什么要在 Redis 中存储两次同一份数据?
22 0
为什么要在 Redis 中存储两次同一份数据?
|
1月前
|
缓存 NoSQL 关系型数据库
Redis与MySQL的数据情感:延迟双删的秘密揭示
Redis与MySQL的数据情感:延迟双删的秘密揭示
45 0
|
1月前
|
存储 监控 NoSQL
Redis 大键问题解析:如何管理和优化巨型数据【redis拓展】
Redis 大键问题解析:如何管理和优化巨型数据【redis拓展】
32 0
|
2月前
|
存储 NoSQL 算法
redis存储什么类型的数据?redis分布式锁怎么实现的?
redis存储什么类型的数据?redis分布式锁怎么实现的?
|
3月前
|
存储 JSON NoSQL
Redis中当存储数据为List集合时,如何控制集合内每个数据元素的生命周期
Redis中当存储数据为List集合时,如何控制集合内每个数据元素的生命周期
42 0
|
4月前
|
存储 NoSQL 关系型数据库
【实战】在redis中怎样使用hash 实现类表结构存储数据
redis 中如何存储数据 如何实现类Mysql 式的表结构 具体实现方式。 详述
32 0