第十六章《持久化》

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 第十六章《持久化》

redis 持久化
RDB:快照的形式实现的持久化
AOF:日志的形式实现的持久化

1.RDB:默认的持久化方式,把某一时刻redis内存中的数据以二进制文件的形式保存到磁盘中
触发机制:
【手动】:save、bgsave

             save:阻塞当前的redis服务,将数据dump到零时的dump.rdb这个文件,然后再把dump.rdb文件保存到磁盘中(线上不建议使用,阻塞redis服务)
             bgsave:fork出一个子进程,由子进程完成持久化,只有fork子进程这个过程阻塞;
             在执行debug load重载或者是shutdown关闭redis服务,默认都会执行bgsave;

【自动】:通过配置文件来配置

save 900 1 //900秒内进行一次数据操作更新就会触发
save 300 10 //300秒内进行10次数据更新更新就会触发
save 60 10000 //60秒内进行10000次数据更新就会触发

RDB持久化的优缺点;
优点:
(1)rdb是一个紧凑压缩的二进制文件,代表redis在某一个时间点上的数据快照,非常适用于全量备份的场景。(2)redis加载rdb文件来会数据要快AOF的方式
缺点:
(1)RDB持久化方式没法做到实时持久化/秒级持久化,因为每次bgsave每次都会fork子进程,属于重量级操作,频繁执行会消耗redis性能,阻塞redis服务;
(2)rdb文件使用特定二进制格式保存,redis不同版本兼容的二进制格式不同
(3)如果在save的过程当中redis宕机,没有被持久化到磁盘的这部分数据会丢失,为了解决这个问题,redis提供了AOF持久化方式。

AOF(append only file):以独立日志的方式记录每次写命令,重启时在重新执行AOF日志中记录的写命令,达到恢复数据的目的,AOF就是用来解决数据的实时持久化;
appendonly yes //开启AOF持久化
appendfilename “appendonly.aof” //默认的aof文件名
AOF的同步策略
appendfsync always //redis每写入一条数据就会调用fsync同步到磁盘的aof文件;
appendfsync everysec //每隔一秒钟同步一次
appendfsync no //不进行同步;默认每隔30s进行一次同步

AOFrewrite:随着写入aof文件的内容越来越多,aof文件变得更大
(1)进程中已经超时的数据不在写入文件
(2)旧的aof文件中包含了无效命令,比如del key1、hdel key2 、srem keys、set 111 、set 222、set 333这些命令

【手动】bgrewrite 触发重写aof文件
【自动】
auto-aof-rewrite-percentage 100 //当aof文件里面的内容超过了预设定值的100%
auto-aof-rewrite-min-size 64mb //触发重写的aof文件量不少于64M

aof持久化流程
(1)所有写入命令追加到aof_buf(缓冲区)中;
(2)aof缓冲区根据对应策略向硬盘做同步操作
(3)随着aof文件越来越大,需要定期对aof文件进行重写,达到压缩目的

小知识:
(1)在aof文件没有进行重写之前我们可以通过编辑appendonly.aof文件来取消误操作
(2)redis重启时会优先加载aof文件进行数据恢复,因为aof文件数据比较完整。

持久化常见问题和优化;
1.fork操作:
当redis进行rdb和aof重写时,都必须要fork子进程,对于操作系统来说fork属于一个重量级操作
在fork的过程中会阻塞,特别是我们使用的时虚拟化技术尤其是Xen虚拟机,fork会更耗时
优化;
(1)优先使用物理机或者高效支持fork操作的虚拟化技术;
(2)控制redis实例最大可用内存,fork耗时和内存量成正比,线上建议每隔redis内存控制在10G以内
2.子进程开销和优化:
(1)cpu:子进程负责把进程内的数据分批写入文件,cpu密集操作,子进程对单核cpu利用率接近90%
优化:尽量redis服务多分配cpu核心数,不要和其他cpu密集型应用或服务部署到同一台服务器;
(2)内存:子进程理论上也会占用和父进程一样的内存,所以对内存的消耗也很大
优化:内存存储的数据量不要太大,不要和其他内存使用量大的服务器部署在同一台服务器;
(3)硬盘:子进程主要用于将内存中的数据同步到硬盘中,因此在持久化的过程中对硬盘的I/O性能开销大。aof文件的重写也会消耗大量的硬盘IO;
优化:(1)不要和其他高硬盘负载的服务部署在一起

       (2)对于多个redis实例部署在一台机器上这种情况,我们可以通过设置不同数据保存路径来分摊硬盘的写入压力
       (3)AOF重写消耗大量硬盘IO,可以开启no-appendfsync-on-rewrite yes 标识在重写期间不进行sync操作
       
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
关系型数据库 MySQL 数据库
MySQL的delete误操作的快速恢复方法
如果我们在数据库中不小心执行了类似“delete from t1”这样的不带where条件的语句,那么整张表的数据就全被删除了,如何在最短的时间恢复被删除的数据就显得十分关键。下面来演示如何通过binlog来快速恢复表数据。
15508 0
MySQL的delete误操作的快速恢复方法
Dataset之Boston:Boston波士顿房价数据集的简介、下载、使用方法之详细攻略
Dataset之Boston:Boston波士顿房价数据集的简介、下载、使用方法之详细攻略
|
缓存 移动开发 Android开发
构建高效Android应用:内存优化实战指南
【4月更文挑战第25天】 在移动开发领域,应用程序的性能至关重要。特别是对于Android设备,由于硬件配置的多样性,合理的内存管理与优化是提升应用流畅度、减少卡顿和崩溃的关键。本文将深入探讨Android应用的内存优化技巧,通过分析内存泄漏的原因、诊断工具的运用以及实际代码层面的改进措施,帮助开发者构建更加高效的Android应用。
|
SQL 存储 安全
Hive 内部表(管理表)和外部表的区别【重点】
Hive 内部表(管理表)和外部表的区别【重点】
1023 1
|
运维 网络协议 Linux
【Linux】CentOS网络故障排查大揭秘: 实战攻略解读
【Linux】CentOS网络故障排查大揭秘: 实战攻略解读
|
JSON 数据格式 Python
python制作的天气预报小工具(gui界面)
python制作的天气预报小工具(gui界面)
316 0
|
存储 Kubernetes 大数据
Data Mesh,数据架构的下一个变革!
Data Mesh 的潜力既令人兴奋又令人生畏,就像从前的微服务架构一样。
1656 0
Data Mesh,数据架构的下一个变革!
|
前端开发
如何通过response的头信息获取文件类型?
今天在前端工匠的群里,看到了一个问题(下载文件,但是请求头中需要传递 token,如何下载文件?怎么设置文件类型?),我们来解决一下这个问题。
774 0
如何通过response的头信息获取文件类型?
|
存储 缓存 Linux
Linux之RAID介绍、软RAID5实操配置(失望攒够了就放手,不打扰是我最后的温柔)(一)
Linux之RAID介绍、软RAID5实操配置(失望攒够了就放手,不打扰是我最后的温柔)(一)
463 0
Linux之RAID介绍、软RAID5实操配置(失望攒够了就放手,不打扰是我最后的温柔)(一)

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问