MySQL源码学习:ib_logfile、bin-log与主从同步-阿里云开发者社区

开发者社区> 丁奇> 正文

MySQL源码学习:ib_logfile、bin-log与主从同步

简介:
+关注继续查看

今天研究MySQL主从同步的同事问了一个问题,如果InnoDB写完ib_logfile后,服务异常关闭。会不会由于主库能够根据ib_logfile恢复数据,而由于bin-log没写导致从库同步时少了这个事务?或者反之,bin-log写成功,而ib_logfile没有写完,导致从库执行事务,而主库不执行? 这会导致主从不一致。

本文简要说明下这个问题。

1、 写入流程

源码sql/handler.cc:

ha_commit_trans

{

if ((err= ht->prepare(ht, thd, all)))

tc_log->log_xid(thd, xid)

error=ha_commit_one_phase(thd, all)

}

说明:

实际上ib_logfile的两步写策略避免了上述的两个问题。流程大致如下:

a) [ib_logfile] 写入当前事务的更新数据,并标志为事务准备(trx_prepare).

b) 写入bin-log

c) [ib_logfile] 当前事务提交结束(trx_commit)

2、 恢复流程

实际上,若ib_logfile已经写入trx_prepare,则在恢复过程中,会根据bin-log中该事务是否存在来恢复数据(见函数xarecover_handlerton)。

流程如下(sql/handler.cc

xarecover_handlerton

{

sql_print_information("Found %d prepared transaction(s) in %s", got, ha_resolve_storage_engine_name(hton));

foreach (trx)

{

If (found in bin-log)

{

sql_print_information("commit xid %s", xid_to_str(buf, info->list+i));

hton->commit_by_xid(hton, info->list+i);

}

Else

{

sql_print_information("rollback xid %s",xid_to_str(buf, info->list+i));

hton->rollback_by_xid(hton, info->list+i);

}

}

}

说明:从启动日志中能够看到上述代码输出的日志。

假设在阶段a)结束之后程序异常, 此时没有写入bin-log 则从库不会同步这个事务。 主库上,在重启之后,从恢复日志中这个事务没有trx_commit,因此会被回滚。 逻辑上主从库都不会执行这个事务。

假设在阶段b)结束后程序异常,此时bin-log已经写入,则从库会同步这个事务。 主库上,根据恢复日志和bin-log,也能够正常恢复此事务。

也就是说,若bin-log写入完成,则主从库都会正常完成事务;bin-log没有写入,则主从库都回滚事务。不会出现主从不一致的问题。

3、 操作系统崩溃造成的不一致

上述的流程并不是天衣无缝的。ib_logfile的写盘是能够被设置成非实时flush的。假设在bin-log写入完成后,系统崩溃,则可能出现这样的情况:bin-log写入所以从库能够执行事务。但主库中trx_prepare的日志没有被写入到ib_logifle中,导致主库不执行事务。这样就会出现主从不一致的情况。

解决方案:增加启动检测,将ib_logfile中不存在的事务,从bin-log删除掉。这样主从库都不执行此事务。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《并行计算的编程模型》一3.7.2 同步数组和工作数组
本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.7.2节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
802 0
Undersocre 源码学习
underscore 源码学习及注释
1231 0
机器学习之旅---logistic回归
一、logistic回归分析简介     logistic回归是研究观察结果(因变量)为二分类或多分类时,与影响因素(自变量)之间关系的一种多变量分析方法,属于概率型非线性回归。
910 0
《并行计算的编程模型》一3.7.3 非全局同步屏障
本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.7.3节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
659 0
VB源码之友2006正式发布了,欢迎大家下载使用
工具栏功能: 1、【添加模块说明】(图标①):在每个VB模块的起始行添加该模块的说明信息。 2、【添加函数说明】(图标②):在指定的函数(或过程)的起始行添加该函数(或过程)的说明信息。
633 0
RMAN_学习笔记4_RMAN Virtual Catalog虚拟恢复目录
2014-01-01 Created By BaoXinjian           Thanks and RegardsERP技术讨论群: 288307890 技术交流,技术讨论,欢迎加入 Technology Blog Created By Oracle ERP - 鲍新建
648 0
hbase源码系列(二)HTable 探秘
hbase的源码终于搞一个段落了,继上一篇讲了负载均衡之后,这一篇我们从client开始讲吧,从client到master再到region server,按照这个顺序来开展,读者们也可以对自己感兴趣的部分给我留言或者直接联系我。
1789 0
机器学习实战第五章(Chapter5):Logistic回归-程序原理详解
这一个章节中作者主要运用了Logistic回归分类器进行分类,分类器的函数形式是Sigmoid函数,过程可以概括为:每个输入特征乘以一个回归系数,然后将所有的结果值相加,将总和带入Sigmoid函数中进行分类,整个过程也可以被看成概率估计。
1208 0
+关注
丁奇
专注于数据存储系统、MySQL源码研究和改进、MySQL性能优化和功能改进,并设计了阿里云高可靠双通道binlog方案。他在业务场景分析、系统瓶颈分析、性能优化方面拥有丰富的经验。微博@淘宝丁奇。
43
文章
18
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载