基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计

知识点18:数据存储设计

  • 目标掌握常见数据存储的设计
  • 实施
  • 问题
  • 数据存储如何保证数据安全?
  • HDFS的数据怎么保证安全性?
  • HDFS的元数据怎么保证安全性?
  • Spark的RDD数据怎么保证安全性?
  • 解决
  • 磁盘存储:数据存储在硬盘上
  • 特点:容量大、安全性高、读写速度上相对不如内存
  • 解决:副本备份
  • 内存存储:数据存储在内存中
  • 特点:容量小、安全性低、读写性能高
  • 解决:副本、持久化到磁盘
  • HDFS的数据怎么保证安全性?
  • 磁盘:副本机制
  • HDFS的元数据怎么保证安全性?
  • 磁盘:fsimage + edits
  • 副本机制:可以配置fsimage存储在多个目录中,每个目录存储一份
  • 内存:启动时加载到内存,在内存进行读写
  • edits:操作日志,NameNode会将内存中元数据的变化记录在edits文件中
  • Spark的RDD数据怎么保证安全性?
  • 方式一:血缘机制:每个RDD保存与父RDD之间的依赖关系
  • 方式二:persist/unpersist:缓存,将RDD缓存在内存或者磁盘中,缓存有副本机制
  • 方式三:checkpoint:检查点持久化,将RDD的数据持久在磁盘【HDFS】中
  • 小结
  • 掌握常见数据存储的设计

知识点19:Redis持久化:RDB设计

  • 目标:掌握Redis的RDB持久化机制
  • 路径
  • step1:问题
  • step2:RDB方案
  • step3:优缺点
  • 实施
  • 问题
Redis中的数据都存储在内存中,由内存对外提供读写,Redis一旦重启,内存中的数据就会丢失,Redis如何实现持久化?
  • 写:set/hset/lpush/sadd/zadd
  • 写入内存直接返回
  • 读:get/hget/lrange/smembers/zrange
  • 直接读取内存
  • 每次Redis写入内存,将数据同步到磁盘
  • 如果重启,就将磁盘中的数据重新加载到磁盘,提供读取
  • RDB方案
  • Redis默认的持久化方案
  • 思想
  • 按照一定的时间内,如果Redis内存中的数据产生了一定次数的更新,就将整个Redis内存中的所有数据拍摄一个全量快照文件存储在硬盘上
  • 新的快照会覆盖老的快照文件,快照是全量快照,包含了内存中所有的内容,基本与内存一致
  • 如果Redis故障重启,从硬盘的快照文件进行恢复
  • 举例
  • 配置:save 30 2
  • 解释:如果30s内,redis内存中的数据发生了2条更新【插入、删除、修改】,就将整个Redis内存数据保存到磁盘文件中,作为快照
  • 过程

  • 触发
  • 手动触发:当执行某些命令时,会自动拍摄快照【一般不用】
  • save:手动触发拍摄RDB快照的,将内存的所有数据拍摄最新的快照
  • 前端运行
  • 阻塞所有的客户端请求,等待快照拍摄完成后,再继续处理客户端请求
  • 特点:快照与内存是一致的,数据不会丢失,用户的请求会被阻塞
  • bgsave:手动触发拍摄RDB快照的,将内存的所有数据拍摄最新的快照
  • 后台运行
  • 主进程会fork一个子进程负责拍摄快照,客户端可以正常请求,不会被阻塞
  • 特点:用户请求继续执行,用户的新增的更新数据不在快照中
  • shutdown:执行关闭服务端命令
  • flushall:清空,没有意义
  • 自动触发:按照一定的时间内发生的更新的次数,拍摄快照
  • 配置文件中有对应的配置,决定什么时候做快照
#Redis可以设置多组rdb条件,默认设置了三组,这三组共同交叉作用,满足任何一个都会拍摄快照
save 900 1
save 300 10
save 60 10000
  • 为什么默认设置3组?
  • 原因:如果只有一组策略,面向不同的写的场景,会导致数据丢失
    - 针对不同读写速度,设置不同策略,进行交叉保存快照,满足各种情况下数据的保存策略
  • 优缺点
  • 优点
  • rdb方式实现的是全量快照,快照文件中的数据与内存中的数据是一致的
  • 快照是二进制文件,生成快照加载快照都比较快,体积更小
  • Fork进程实现,性能更好
  • 总结:更快、更小、性能更好
  • 缺点
  • 存在一定概率导致部分数据丢失
  • 应用:希望有一个高性能的读写,不影响业务,允许一部分的数据存在一定概率的丢失**【做缓存】**,大规模的数据备份和恢复
  • 小结
  • 什么是RDB机制,优缺点分别是什么?
  • 思想:在一定时间内如果Redis发生一定次数的更新,就拍摄一个全量快照二进制文件存储在磁盘中
  • 如果重启,直接加载二进制文件恢复到内存
  • 触发
  • 手动:bgsave,shutdown
  • 自动:save 时间 次数
  • 特点
  • 优点:更小、更快、全量、性能更好
  • 缺点:存在一定概率数据丢失
  • 场景:大规模数据缓存或者数据备份和恢复

知识点20:Redis持久化:RDB测试

  • 目标实现RDB持久化的测试
  • 实施
  • 查看当前快照
ll /export/server/redis/datas/
  • 配置修改
cd /export/server/redis
vim redis.conf
#202行
save 900 1
save 300 10
save 60 10000
save 20 2
shutdown
redis-start.sh
  • 插入数据
set s1 "laoda"
  set s2 "laoliu"
  set s3 "laoliu"
  • 查看dump的rdb快照
ll /export/server/redis/datas/
  • 小结
  • 实现RDB持久化的测试
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
存储 缓存 NoSQL
Redis数据存储:高效、灵活、实时
Redis数据存储:高效、灵活、实时
|
1月前
|
Oracle 关系型数据库 分布式数据库
分布式数据库集成解决方案
分布式数据库集成解决方案
198 0
|
15天前
|
存储 NoSQL Java
Java数据库编程指南:实现高效数据存储与访问
【4月更文挑战第2天】Java开发者必须掌握数据库编程,尤其是JDBC,它是连接数据库的标准接口。使用Spring JDBC或JPA能简化操作。选择合适的JDBC驱动,如MySQL Connector/J,对性能至关重要。最佳实践包括事务管理、防SQL注入、优化索引和数据库设计。NoSQL数据库如MongoDB也日益重要,Java有对应的驱动支持。理解这些概念和技术是构建高效数据库应用的基础。
Java数据库编程指南:实现高效数据存储与访问
|
8天前
|
NoSQL 安全 Redis
redis内存限制与淘汰策略
Redis内存管理包括限制和淘汰策略。`maxmemory`配置参数决定内存上限,无设置时64位系统默认不限制,可能导致系统资源耗尽,生产环境建议设定合理值。当内存满时,未设置淘汰策略会导致写入错误。Redis提供8种淘汰策略,如LRU(最近最少使用)和LFU(最不经常使用),以及随机或基于过期时间的删除。需根据数据重要性、访问频率和一致性选择合适策略。
10 0
|
13天前
|
存储 缓存 NoSQL
Redis 服务器指南:高性能内存数据库的完整使用指南
Redis 服务器指南:高性能内存数据库的完整使用指南
|
15天前
|
存储 缓存 NoSQL
Redis的内存淘汰策略是什么?
【4月更文挑战第2天】Redis内存淘汰策略在内存满时,通过删除旧数据为新数据腾空间。策略包括:volatile-lru/LFU(基于LRU/LFU算法淘汰有过期时间的键),volatile-random/ttl(随机/按TTL淘汰),allkeys-lru/LFU(所有键的LRU/LFU),allkeys-random(随机淘汰所有键),以及noeviction(不淘汰,返回错误)。选择策略要考虑访问模式、数据重要性和性能需求。
|
21天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之增加内存依旧报内存不足如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
23天前
|
存储 数据采集 数据挖掘
【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
193 0
|
28天前
|
NoSQL 应用服务中间件 Linux
Redis的内存回收机制
Redis的内存回收机制
23 2
|
30天前
|
存储 SQL 分布式计算
TiDB整体架构概览:构建高效分布式数据库的关键设计
【2月更文挑战第26天】本文旨在全面概述TiDB的整体架构,深入剖析其关键组件和功能,从而帮助读者理解TiDB如何构建高效、稳定的分布式数据库。我们将探讨TiDB的计算层、存储层以及其他核心组件,并解释这些组件是如何协同工作以实现卓越的性能和扩展性的。通过本文,读者将能够深入了解TiDB的整体架构,为后续的学习和实践奠定坚实基础。