异步导入导出Redis数据(利用Hiredis、Libevent)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 最近工作中需要用到一个将数据从Redis导出到文本(或从文本导入Redis)的工具。找到一个用Ruby写的开源软件redis-dump(http://delanotes.com/redis-dump/)。

最近工作中需要用到一个将数据从Redis导出到文本(或从文本导入Redis)的工具。找到一个用Ruby写的开源软件redis-dump(http://delanotes.com/redis-dump/)。

1 redis-benchmark -t set -d 1000 -n 1000000 -r 50000000 -h xxx.xxx.xxx.xxx -p 6379

  利用上面的命令向Redis中set了100万条1K大小数据,本地测试下redis-dump的性能,QPS大约在2500左右,实在太慢,只好自己实现一个小工具。

  看了看源码,redis-dump采用同步方式获取数据,无法充分利用Redis Server的性能。能想到的改进自然是异步的获取数据,hiredis的异步接口要和libevent、libev等异步通信库结合起来使用,这里有几个例子(https://github.com/redis/hiredis/tree/master/examples)。代码很简单,首先KEYS *获取所有的key,再将所有的DUMP key命令写入redisAsyncCommand交由event_base分发,在callback中将DUMP出的二进制数据处理一下和KEY值一起写入文本。

  测试了一下,本地异步导入、导出的QPS达到了10万,整整是redis-dump的40倍。

目录
相关文章
|
存储 JSON 算法
C++ JSON库 nlohmann::basic_json::boolean_t 的用法
C++ JSON库 nlohmann::basic_json::boolean_t 的用法
327 0
|
前端开发 数据可视化 容器
前端基础(十六)_BFC、box-shadow(盒子阴影)、text-shadow(文字阴影)
本文介绍了前端开发中块级格式化上下文(BFC)的概念和作用,以及如何创建BFC。同时,文章还讲解了`box-shadow`和`text-shadow`属性的用法,包括如何为元素添加阴影效果,并通过示例代码展示了这些属性的具体应用。
201 0
前端基础(十六)_BFC、box-shadow(盒子阴影)、text-shadow(文字阴影)
|
测试技术 API 微服务
单元测试的5个关键问题
1. 背景关于“什么是单元测试”、“为什么要做单元测试”、“怎么做单元测试”,网络上相关的技术文章汗牛充栋。尽管如此,在推广单元测试的过程,通过与研发同学的交流,我发现大家对单元测试的探讨还是存在薄弱的地方。这个薄弱的地方既不是抽象的单元测试理论,也不是具体的单元测试技术,而是理论与实践相结合的单元测试策略。就像测试策略一样,单元测试策略决定了我们能否把单元测试真正做好(而不是流于形式),并且让单
|
开发框架 前端开发 JavaScript
循序渐进VUE+Element 前端应用开发(20)--- 使用组件封装简化界面代码
循序渐进VUE+Element 前端应用开发(20)--- 使用组件封装简化界面代码
|
JavaScript 前端开发 数据安全/隐私保护
|
存储 程序员 C++
在C++语言中string-vector的字符串作用类型
在C++语言中string-vector的字符串作用类型
337 0
|
弹性计算 监控 安全
阿里云APP有什么用?在哪里可以下载纯净版?阿里云APP下载及使用介绍
手机阿里云App是阿里云官方出品的移动应用,为用户提供随时随地触达阿里云的能力。目前网上有很多第三方平台都可以下载,但是有的用户担心第三方平台的APP不是纯净版,可能带有其他插件。其实我们可以通过阿里云官方就能下载到纯净版的APP,纯净版APP具有安全、便捷、快速、实时的特点,帮助用户在手机上快速购买续费、进行云产品的管控。
1647 0
阿里云APP有什么用?在哪里可以下载纯净版?阿里云APP下载及使用介绍
|
数据采集 缓存 移动开发
2019前端最全面试题(四)
2019前端最全面试题(四)
182 0
|
弹性计算 数据中心
阿里云香港服务器cn2线路怎么样?贵吗?
阿里云香港服务器cn2线路怎么样?贵吗?阿里云香港服务器中国香港数据中心网络线路类型BGP多线精品,中国电信CN2高速网络高质量、大规格BGP带宽,运营商精品公网直连中国内地,时延更低,优化海外回中国内地流量的公网线路,可以提高国际业务访问质量。阿里云百科来详细介绍阿里云香港云服务器
|
运维 负载均衡 算法
Nacos必知必会:这些知识点你一定要掌握!
Nacos必知必会:这些知识点你一定要掌握!
1792 0