大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!
“你们数据库的写入TPS能到多少?”这是做架构评审时经常被问到的问题。
但如果是在云环境、或者用了某些高性能SSD的环境里,有些团队会告诉你:“我们把Doublewrite关了,写入TPS提升了不少。”
听到这句话,第一反应往往是:“关了?不怕数据损坏吗?”
Doublewrite是InnoDB防止“半页损坏”的关键机制。关掉它,意味着在极端故障场景下,数据页可能只写了一半,页内结构损坏,整个页的数据无法恢复。
但为什么有人敢关?关掉的代价和收益到底怎么算?今天把这个机制的底层逻辑和性能代价拆开讲清楚。
一、机制拆解:Doublewrite到底在防什么
要理解Doublewrite,得先理解InnoDB的页写入机制和半页损坏的风险。
InnoDB以数据页(默认16KB)为基本单位管理数据。一个页在磁盘上的写入,不是原子操作——操作系统和存储设备可能把它拆成多个扇区写入(通常每个扇区512字节或4KB)。
正常写入:16KB的页分4次(每次4KB)写入磁盘。如果在这个过程中断电或崩溃,可能只写了前8KB。页的后半部分是旧数据,前半部分是新数据——页内数据不一致,结构损坏。
更麻烦的是,InnoDB的redo log只能保证“已提交事务的日志不丢”,但页内的物理损坏,redo log无法修复——redo log记录的逻辑操作,前提是数据页本身结构完整。如果页本身坏了,redo log重放也无从下手。
Doublewrite的解法:
数据页修改后,先写入Doublewrite Buffer(位于系统表空间的连续区域,顺序写)
Doublewrite Buffer刷盘后,再把数据页写入实际的数据文件位置(随机写)
如果崩溃导致数据文件中的页损坏,可以从Doublewrite Buffer中恢复完整的页副本
Doublewrite Buffer是顺序写,而数据文件写入是随机写。顺序写的代价远低于随机写,这是Doublewrite设计的关键:用一次低成本的顺序写,换一次高成本随机写的安全兜底。
二、代价量化:写密集场景下的5%-10%开销
Doublewrite的代价,主要体现在写密集场景下。
代价一:带宽消耗。 每个页写两次——一次到Doublewrite Buffer,一次到数据文件。虽然Doublewrite Buffer是顺序写,但物理上仍然消耗了磁盘带宽。
代价二:写放大。 对于频繁更新的页,每次更新都要走“Doublewrite Buffer → 数据文件”两遍写入。写放大不仅影响吞吐,还会加速SSD的磨损。
量化表现:
在OLTP写密集场景(如订单创建、库存扣减),Doublewrite带来的性能开销约为5%-10%。
在读多写少场景,开销可以忽略(写入频率低,Doublewrite的额外开销被摊薄)。
在批量导入场景,开销更明显(大量页写入同时触发Doublewrite)。
为什么云厂商敢关:
部分云厂商的ESSD云盘支持16K原子写——硬件层面保证16KB的页写入是原子的(要么全写成功,要么全失败),从物理层消除了半页损坏的风险。在这种情况下,Doublewrite的兜底作用被硬件替代,关闭它可以提升写入效率。
但前提是:底层存储必须真的保证原子性。如果云盘的原子写只覆盖部分场景,或者跨可用区复制时失去原子性保证,关闭Doublewrite就变成了裸奔。
三、半页损坏的触发条件:什么场景下真的会发生
很多人觉得“半页损坏”是理论风险,实际很少发生。确实,在正常运行的系统中,页写入被中断的概率很低。但以下场景会显著提高风险:
场景一:非正常断电。 机房掉电、UPS切换失败、服务器电源故障——写入过程中断,页写一半。
场景二:存储设备故障。 SSD的电容失效、磁盘的写入缓存丢失、RAID卡电池故障——页写入未完成。
场景三:操作系统崩溃。 内核panic、驱动异常——页写入队列中的数据丢失。
场景四:云环境的突发故障。 云盘的后端存储节点故障、跨可用区复制的网络中断。
这些场景的发生概率不高,但一旦发生,半页损坏的页无法通过redo log恢复——只能从事先的备份恢复,或者从Doublewrite Buffer中找回完整页。如果没有Doublewrite且没有备份,这个页的数据就永久损坏了。
四、怎么判断该开还是该关
保留Doublewrite的场景:
数据完整性优先(金融、政务、核心交易)
底层存储没有原子写保证
写密集程度可控,5%-10%的开销可以接受
评估关闭的场景:
底层存储明确支持16K原子写,且有厂商的书面保证
写密集场景下,TPS瓶颈明确卡在Doublewrite的带宽消耗上
有完善的备份和恢复机制,可以接受极端场景下的页损坏风险
操作方式:
-- 查看当前状态
SHOW VARIABLES LIKE 'innodb_doublewrite';
-- 关闭(需要重启或动态修改,视版本而定)
SET GLOBAL innodb_doublewrite = OFF;
关闭前必须确认:底层存储的原子写是否覆盖所有写入路径(包括云盘的跨可用区复制、快照等)。如果原子性只在部分场景下成立,关闭Doublewrite是危险的。
五、与Redo Log的关系:两者解决不同问题
一个常见的误解是:“有redo log了,为什么还需要Doublewrite?”
Redo Log防的是“已提交事务丢失”:事务提交时,redo log刷盘,确保崩溃恢复时能重放这些操作。
Doublewrite防的是“数据页物理损坏”:页写入中断导致页结构损坏,redo log无法在损坏的页上重放。
两者解决的是不同层面的问题,不能互相替代。Redo log是逻辑层面的持久性保证,Doublewrite是物理层面的完整性保证。
六、小结
Doublewrite是InnoDB防止半页损坏的核心机制,代价是写密集场景下约5%-10%的性能开销。它的价值在极端故障场景下才会体现,但一旦发生,没有它就意味着页数据永久损坏。是否关闭,取决于底层存储是否真的保证原子写、业务对数据完整性的容忍度、以及写密集程度是否真的卡在Doublewrite上。不要因为“别人关了”就跟着关,先确认自己的存储层有没有那个底气。
小耶在手,SQL 不愁
还有什么想了解的,欢迎留言!小耶一定知无不言言无不尽……我们下次见~