基于内存的分布式NoSQL数据库Redis(六)AOF设计

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 基于内存的分布式NoSQL数据库Redis(六)AOF设计

知识点21:Redis持久化:AOF设计

  • 目标:掌握Redis的AOF持久化机制
  • 路径
  • step1:问题
  • step2:AOF方案
  • step3:优缺点
  • step4:持久化方案
  • 实施
  • 问题
RDB存在一定概率的数据丢失,如何解决?
  • AOF方案
  • 思想
  • 按照一定的规则,将内存数据的操作日志追加写入一个文件中
  • 当Redis发生故障,重启,从文件中进行读取所有的操作日志,恢复内存中的数据
  • 重新对Redis进行执行,用于恢复内存中的数据
  • 过程

  • 实现:追加的规则
  • appendfsyncalways
  • 每更新一条数据就同步将这个更新操作追加到文件中
  • 优点:数据会相对安全,几乎不会出现数据丢失的情况
  • 缺点:频繁的进行数据的追加,增大磁盘的IO,导致性能较差
  • appendfsynceverysec
  • 每秒将一秒内Redis内存中数据的操作异步追加写入文件
  • 优点:在安全性和性能之间做了权衡,性能要比always高
  • 缺点:有数据丢失风险 ,但最多丢失1秒
  • appendfsyncno
  • 交给操作系统来做,不由Redis控制
  • 肯定不用的
  • 优缺点
  • 优点:安全性和性能做了折中方案,提供了灵活的机制,如果性能要求不高,安全性可以达到最高
  • 缺点
  • 这个文件是普通文本文件,相比于二进制文件来说,每次追加和加载比较慢
  • 数据的变化以追加的方式写入AOF文件
  • 问题:文件会不断变大,文件中会包含不必要的操作【过期的数据】
  • 解决:模拟类似于RDB做全量的方式,定期生成一次全量的AOF文件
  • 应用数据持久化安全方案,理论上绝对性保证数据的安全
  • 持久化方案:两种方案怎么选?
  • 两种方案都可以用:默认不配置AOF,使用的RDB
  • 问题**:两种都用,**重启Redis加载的是谁的数据?
  • 加载AOF
  • 小结
  • 什么是AOF机制?
  • 按照一定的规则将内存中的变化追加记录在一个日志文件中
  • 规则
  • always:内存变化一条,就追加磁盘一条,安全性高,性能差
  • everysesc:每一秒将这一秒内存的变化追加到磁盘中,安全和性能做了折中
  • no:不用
  • 优点
  • 安全和性能的选择更加灵活,安全性更高
  • 缺点
  • 追加到普通日志文件:相比于二进制来追加和恢复都要慢一些
  • 日志文件越来越大,里面会包含很多无用数据操作:根据规则来构建全量的AOF
  • 应用:Redis作为数据库或者缓存

知识点22:Redis持久化:AOF实现

  • 目标:实现AOF持久化
  • 实施
  • 开启并配置
vim redis.conf
#594行:开启aof
appendonly yes
#624行:默认每s刷写一次
appendfsync everysec
#665,666
#增幅100%就重新覆盖一次
auto-aof-rewrite-percentage 100
#文件至少要大于64MB,一般建议更改为GB大小
auto-aof-rewrite-min-size 64mb
shutdown
redis-start.sh
  • 查看数据
keys *
  • 从AOF文件恢复数据
  • 查看aof文件
ll /export/server/redis/datas
  • 小结
  • 实现AOF持久化

附录一:Jedis Maven依赖

<properties>
        <jedis.version>3.2.0</jedis.version>
    </properties>
    <dependencies>
        <!-- Jedis 依赖 -->
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>${jedis.version}</version>
        </dependency>
        <!-- JUnit 4 依赖 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
NoSQL 算法 安全
Redlock 算法-主从redis分布式锁主节点宕机锁丢失的问题
Redlock 算法-主从redis分布式锁主节点宕机锁丢失的问题
152 0
|
1月前
|
NoSQL 关系型数据库 MySQL
分布式锁(redis/mysql)
分布式锁(redis/mysql)
55 1
|
24天前
|
NoSQL Java Redis
如何通俗易懂的理解Redis分布式锁
在多线程并发的情况下,我们如何保证一个代码块在同一时间只能由一个线程访问呢?
34 2
|
10天前
|
NoSQL 安全 Redis
redis内存限制与淘汰策略
Redis内存管理包括限制和淘汰策略。`maxmemory`配置参数决定内存上限,无设置时64位系统默认不限制,可能导致系统资源耗尽,生产环境建议设定合理值。当内存满时,未设置淘汰策略会导致写入错误。Redis提供8种淘汰策略,如LRU(最近最少使用)和LFU(最不经常使用),以及随机或基于过期时间的删除。需根据数据重要性、访问频率和一致性选择合适策略。
13 0
|
16天前
|
存储 缓存 NoSQL
Redis 服务器指南:高性能内存数据库的完整使用指南
Redis 服务器指南:高性能内存数据库的完整使用指南
|
18天前
|
存储 缓存 NoSQL
Redis的内存淘汰策略是什么?
【4月更文挑战第2天】Redis内存淘汰策略在内存满时,通过删除旧数据为新数据腾空间。策略包括:volatile-lru/LFU(基于LRU/LFU算法淘汰有过期时间的键),volatile-random/ttl(随机/按TTL淘汰),allkeys-lru/LFU(所有键的LRU/LFU),allkeys-random(随机淘汰所有键),以及noeviction(不淘汰,返回错误)。选择策略要考虑访问模式、数据重要性和性能需求。
|
23天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之增加内存依旧报内存不足如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
30天前
|
NoSQL 应用服务中间件 Linux
Redis的内存回收机制
Redis的内存回收机制
24 2
|
1月前
|
缓存 NoSQL Redis
[Redis]——Redis持久化的两种方式RDB、AOF
[Redis]——Redis持久化的两种方式RDB、AOF
|
1月前
|
人工智能 监控 NoSQL
【万字长文 一文搞定】Redis:从新手村到大师殿堂的奥德赛之旅 9种实现分布式锁的全技术指南
【万字长文 一文搞定】Redis:从新手村到大师殿堂的奥德赛之旅 9种实现分布式锁的全技术指南
81 4