关于ORACLE 和MYSQL INNODB 触发脏数据写的机制对比

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 首先要说明在ORACLE和INNODB触发checkpoint方面都采用LRU进行管理,并且都有全量检查点和增量检查点一说 在MYSQL中全量检查点叫做sharp checkpoint,增量检查点叫做FUZZY CHECKPOINT, 在ORACLE中更...



首先要说明在ORACLE和INNODB触发checkpoint方面都采用LRU进行管理,并且都有全量检查点和增量检查点一说
在MYSQL中全量检查点叫做sharp checkpoint,增量检查点叫做FUZZY CHECKPOINT,


在ORACLE中更加细化,加入了LRUW链表,并且加入CHECKPOINT-Q列表,两者共同配合完成增量CHECKPOINT,在ORACLE
中DBWR写是按照CHECKPOINT-Q的顺序写的其是LRBA的链表,其触发条件受到MTTR的限制,如果ORACL估计能够达到INSTANCE
CRASH RECOVERY的时间就会不触发CHECKPOINT-Q写,而加入LRUW列表更是为了减轻按照CHECKPOINT-Q来写的负担,如果检查到
哪些每3秒访问少2次的脏块就会从LRU中拿下计入LRUW,等待DBWR3秒醒来触发写,对于3秒访问大于等于2次的脏块,依然按照
checkpoint-Q来写,因为很可能还会修改,写完后从CHECKPOINT-Q下摘下。这样LRUW基本就是为了那些修改次数少的脏块而生的,
目的在于优先写入修改次数少脏块减轻CHECKPOINT-Q增量检查点压力。
其实在ORACLE中LRU和LRUW都分为辅助和主列两个,关于这一点是为了加快扫描LRU的效率,详细参加吕海波ORACLE内核揭秘
这里给出ORACLE写脏块的机制(来自吕海波ORACLE内核揭秘)
1、DBWR 3秒写冷脏块上面说的3秒内访问一次的脏块
2、CHEKPOINT-Q 写入,他也是DBWR来判断的如果不能满足MTTR的设置就开始写,由CKPT修改CONTROLFILE里面的各种信息,重要的
就是LRBA,关于LRBA和脏块数量可能通过X$KCCCP来查看
3、服务器进程扫描LRU发现25%的脏块直接出发DBWR写,不需要等待3秒,从LRUW进行写,有隐含参数_db_large_dirty_queue控制默认25%
4、服务器进程扫描超过40%的BUFFER没有找到可用的BUFFER来缓存新的数据块,不需要等待3秒,从LRUW进行, 
   由隐含_db_block_max_scan_pct控制
5、各种全量检查点
   alter system checkpoint
   SHUTDOWN DATABASE非ABORT
   log switch
   表空间OFFLINE 表空间一级检查点
   DDL语句drop truncate等对象一级检查点


在MYSQL中一切其实差不多,但是从MYSQL内幕innodb存储引擎一书来看,所有的脏块和干净的块都在LRU列中,同时还存放了一份
在flush列表中(类似ORACLE的CHECKPOINT-q),同样MASTER进程也是用来读取FLUSH列表进行脏数据写的,但是MYSQL没有LRUW的
概念,所以所有的脏块正常情况下都是冲FLUSH列表中的脏块写入的。
这里给出MYSQL写脏块的机制(姜承晓MYSQL内幕innodb存储引擎)
FUZZY CHECKPOINT
1、MASTER进程每秒或者每10秒从FLUSH列表中按照顺序写入脏块
2、根据innodb_lru_scan_depth 参数设置默认5.6 1024,如果没有PAGE CLEANR 进程发现没有1024可用空闲页,刷出LRU链尾端的页
   如果有脏块触发脏块写show engine innodb status 来看及如下:
   Buffer pool size   70400
   Free buffers       32776--这里
   Database pages     34879
   Old database pages 12711
   Modified db pages  662
   
3、根据日志的使用情况,如果从show engine innodb status 来看及如下:
   Log sequence number 3100866076
   Log flushed up to   3100744765
   Pages flushed up to 3099998234
   Last checkpoint at  3099878300
   
   75%*日志量>Log sequence number-Last checkpoint at 不需要触发脏块写
   75%*日志量<Log sequence number-Last checkpoint at<90%*日志量触发异步写
   Log sequence number-Last checkpoint at>90%*日志量触发同步写

4、根据INNODB_MAX_DIRTY_PAGE_PCT设置默认75,当脏块数量达到75%进行脏数据库写
   Buffer pool size   70400
   Free buffers       32776
   Database pages     34879
   Old database pages 12711
   Modified db pages  662  ---这里
   
sharp checkpoint 只有在关闭数据库的时候触发并且INNODB_FAST_SHUTDOWN=1的情况下(默认设置)




由此来看ORACLE的第一条和第二条属于正常刷新他们对应了MYSQL第一条
ORACLE的第三条属于脏块过多刷新对应MYSQL的第四条
ORACLE的第四条属于没有可用的BUFFER BLOCK对应MYSQL的第二条
ORACLE虽然没有根据日志量的使用情况来判断是否需要写脏块,但是ORACLE实际每次SWITCH LOGFILE
都会触发检查点,那么也就不存在这样的问题了。
最后思考一个问题,ORACLE中实际上可能会出现脏数据写赶不上日志切换的速度会出现等待
Checkpoint not complete,这个时候可能要加大LOGFILE 组来满足,或者减少LOG生成量,我想
MYSQL INNODB中应该也会有同样的情况发生,但是没有模拟出来,也不知道怎么查看。
我这里对比只是为了更加加深两种不同数据库的CHECKPOINT和脏数据写机制,同时加入了自己的一些理解,可能有误
给出参考文献尊重原著


参考:吕海波ORACLE内核揭秘
参考:姜承晓MYSQL内幕innodb存储引擎

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
91
分享
相关文章
【YashanDB 知识库】YMP 校验从 yashandb 同步到 oracle 的数据时,字段 timestamp(0) 出现不一致
在YMP校验过程中,从yashandb同步至Oracle的数据出现timestamp(0)字段不一致问题。原因是yashandb的timestamp(x)存储为固定6位小数,而Oracle的timestamp(0)无小数位,同步时会截断yashandb的6位小数,导致数据差异。受影响版本:yashandb 23.2.7.101、YMP 23.3.1.3、YDS联调版本。此问题会导致YMP校验数据内容不一致。
【YashanDB 知识库】通过 dblink 查询 Oracle 数据时报 YAS-07301 异常
客户在使用 YashanDB 通过 yasql 查询 Oracle 数据时,遇到 `YAS-07301 external module timeout` 异常,导致 dblink 功能无法正常使用,影响所有 YashanDB 版本。原因是操作系统资源紧张,无法 fork 新子进程。解决方法包括释放内存、停掉不必要的进程或增大进程数上限。分析发现异常源于 system() 函数调用失败,返回 -1,通常是因为 fork() 失败。未来 YashanDB 将优化日志信息以更好地诊断类似问题。
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库(YashanDB)的方法,支持全量与增量同步,并涵盖新增、修改和删除的DML操作。内容包括环境准备(如JDK、Flink版本等)、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署,以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
【YashanDB 知识库】YMP 校验从 yashandb 同步到 oracle 的数据时,字段 timestamp(0) 出现不一致
【YashanDB 知识库】YMP 校验从 yashandb 同步到 oracle 的数据时,字段 timestamp(0) 出现不一致
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为&#39;0&#39;或&#39;1&#39;,查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
【YashanDB知识库】通过dblink查询Oracle数据时报YAS-07301异常
【YashanDB知识库】通过dblink查询Oracle数据时报YAS-07301异常
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
这篇文章是作者尚雷关于使用崖山YMP迁移Oracle/MySQL至YashanDB 23.2的验证测试分享。介绍了YMP的产品信息,包括架构、版本支持等,还详细阐述了外置库部署、YMP部署、访问YMP、数据源管理、任务管理(创建任务、迁移配置、离线迁移、校验初始化、一致性校验)及MySQL迁移的全过程。
【YashanDB知识库】YMP校验从yashandb同步到oracle的数据时,字段timestamp(0)出现不一致
【YashanDB知识库】YMP校验从yashandb同步到oracle的数据时,字段timestamp(0)出现不一致

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等