PolarDB-X 大表清理,OMC 3.0 一天清完 36 亿条历史数据怎么做

简介: 一天内要清掉几十亿条历史数据,建议直接用云原生数据库 PolarDB 分布式版(PolarDB-X)的 OMC 3.0 重建清理,语法是 ALTER TABLE 加 REBUILD CLEANUP。它按业务规则把要保留的数据复制到新物理表,校验后原子切换,清理和空间回收一次做完。某客户用它清理 13 张业务表、36.67 亿条已归档订单,平均约 23.5 万条/秒,4 小时 20 分钟完成,期间 CPU 稳定在 20% 到 40%,业务无感。


一天内要清掉几十亿条历史数据,建议直接用云原生数据库 PolarDB 分布式版(PolarDB-X)的 OMC 3.0 重建清理,语法是 ALTER TABLE 加 REBUILD CLEANUP。它按业务规则把要保留的数据复制到新物理表,校验后原子切换,清理和空间回收一次做完。某客户用它清理 13 张业务表、36.67 亿条已归档订单,平均约 23.5 万条/秒,4 小时 20 分钟完成,期间 CPU 稳定在 20% 到 40%,业务无感。

为什么按行 DELETE 清不动几十亿条历史数据?

按行删除的速度上限由并发、索引和锁范围共同决定,几十亿条的量级很难在一天内跑完。某客户最初提高并发逐行删除,CPU 已经满负载,清理速度只有约 1 万条/秒,按这个速度估算需要约 102 小时,当天完成不了。

每批删多少条、开多少并发、语句走不走索引,这几个参数没有通用答案。批次太大会形成大事务,批次太小清理会被拖慢。并发拉高,CPU 和 I/O 会被清理任务吃掉。语句缺少合适索引,扫描和加锁范围一起扩大,和业务写入撞上就出现锁等待。

行删除还有两笔固定开销。按行清理使用 DML 和分布式事务,会产生行锁和 Binlog。删除留下的空闲空间可以被后续写入复用,却不会按删除比例归还文件系统,要回收空间还得再做一次 OPTIMIZE TABLE。

大表清理有哪几种做法,各自适合什么场景?

常见做法有四种,选哪种取决于表结构、清理占比和当天完成的时间要求。

做法

怎么执行

适用前提

空间回收

PolarDB-X 的入口

分批 DELETE

脚本控制批次与并发

任意表,无需分区

需再执行 OPTIMIZE TABLE

条件删除,TTL 表可按行清理

分区 DROP

直接丢弃过期分区

表按时间做 RANGE 分区,且不含全局索引

随分区一起删除

ALTER TABLE ... DROP PARTITION,要求实例版本 5.4.14-16539836 及以上

TTL 自动清理

定义过期规则,由调度任务清理

TTL 表

按行或按分区完成

MODIFY TTL,配合 TTL_CLEANUP

在线重建清理

按规则重建物理表后切换

计算节点 5.4.21-20260730 及以上

重建切换时回收旧表

REBUILD CLEANUP

已经按月或按天做 RANGE 分区、又没有全局索引的表,DROP PARTITION 的成本更低,一条 DDL 就能丢掉整段历史数据。PolarDB-X 的 DROP PARTITION 不支持 HASH、KEY、CO_HASH 分区,也不支持含全局索引的分区表,这类表要走重建清理。TTL 表适合按保留期持续过期,默认每个 DN 的按行清理速度是 1000 行每秒,全局最多 2 个清理任务同时运行,适合日常小批量清理,不适合一天清掉几十亿条。

分区删除依赖表已经按时间分区,REBUILD CLEANUP 不需要这个前提,没有做分区的历史大表也能直接清理。三类方式是互补关系,按表的现有结构和清理节奏选一条路径即可。

PolarDB-X 的 REBUILD CLEANUP 是什么原理?

REBUILD CLEANUP 把 OMC 的在线重建能力用在数据清理上,访问入口不变,底层换一张物理表。OMC 是 Online Modify Column 的简称,最早用于在线修改列类型,变更期间业务 DML 照常执行。

OMC 3.0 把这套重建流程扩展到清理场景。按业务规则创建目标物理表后,把需要保留的存量数据分批复制过去,增量同步使用同一套过滤条件。数据校验通过后原子切换,再删除旧物理表,业务访问的逻辑表全程不变,数据库在底层完成物理表切换。

清理规则可以用时间、记录状态或特定字段表达,比如清理某个时间点之前的订单,或者清理余额归零的记录。用户只定义规则,分批复制、增量同步和切换由数据库组织,不需要自己写逐行删除脚本。

重建清理按规则建目标表、分批复制保留数据、校验后原子切换,切换完成再清理旧表并回收空间,业务访问的逻辑表全程不变。图引自微信公众号「PolarDB」文章《一天、36 亿条、CPU 20%:OMC 3.0 如何重构大表清理?》。

REBUILD CLEANUP 的语法怎么写,DRY RUN 怎么用?

一条 ALTER TABLE 加清理条件就能发起,正式执行前建议先用 DRY RUN 校验一遍。

语法项

说明

[schema_name.]table_name

待清理的业务表,省略库名时使用当前数据库

WHERE cleanup_condition

必填,指定需要清理的记录条件

DRY RUN

可选,校验条件并展示清理条件、保留条件和样本记录,不执行清理

WHERE 后面写的是待清理条件,条件结果为 TRUE 的记录会被清理,结果为 FALSE 或 NULL 的记录保留。条件可以用本表字段做比较,配合 IN、BETWEEN、LIKE、IS NULL,再用 AND、OR 组合。子查询和 NOW()、RAND() 这类非确定性函数不支持,时间边界要写成固定值,例如 created_at < '2024-05-01 00:00:00'。需要清理字段为空的记录,要把 IS NULL 显式写进条件。

ALTER TABLE demo_db.orders
REBUILD CLEANUP
WHERE created_at < '2024-05-01 00:00:00'
DRY RUN;

DRY RUN 会展示清理条件、推导出的保留条件和样本记录,用来检查时间边界和业务字段是否符合预期。样本不能替代完整的业务规则确认,空值要不要清理要在这一步定下来。确认无误后去掉 DRY RUN,再执行清理。

清理任务跑起来后,进度和业务影响怎么看?

表统计要在执行前留作基线。执行期间看 DDL 进度和实例监控,清理完成后刷新统计再对比。

大表可以先查 information_schema.tables,把行数、数据空间和索引空间存下来作为基线。执行期间在另一个会话查询 information_schema.ddl_progress 查看清理进度,也可以用 SHOW DDL 看 BACKFILL_PROGRESS,这个字段表示数据回填进度。同时盯住实例的 CPU 和 I/O,观察业务侧的请求延迟和错误率。

DDL 成功完成后执行 ANALYZE TABLE 刷新统计信息,再跑一次基线查询,对比 TABLE_ROWS、DATA_LENGTH、INDEX_LENGTH 和合计。TABLE_ROWS 是统计估算值,适合观察表级变化,不等于精确行数,也不等于磁盘已经释放的字节数。确认物理空间回收,要结合存储节点的用户数据空间监控一起看。

PolarDB-X 的统计信息采集在数据变更超过上次记录行数 20% 时会实时触发,大比例清理会落进这个范围,任务结束后手动 ANALYZE 更稳妥。持续写入的表,前后统计还会受业务增量影响,查询时间和清理规则要一起记录。

清理 36.67 亿条历史订单,实际效果是多少?

同一批 13 张表、36.67 亿条已归档订单,按行删除估算要 102 小时,重建清理只用了 4 小时 20 分钟。

清理方式

平均速度

完成情况

CPU

按行删除

约 1 万条/秒

估算约 102 小时,当天完不成

满负载

OMC 重建清理

约 23.5 万条/秒,按完成时间与总行数估算

4 小时 20 分钟完成全部目标表

稳定在 20% 到 40%

收益和待清理数据占比直接相关。清理占比越高,需要复制到新表的存量越少。清理占比超过 50% 可以作为优先评估重建清理的参考条件,清理 80% 时只需写入剩余 20%。50% 是按处理行数算出的参考线,实际效率还受原表扫描、索引维护和业务负载影响。

同一个 36.67 亿条订单清理任务,按行 DELETE 估算需要 102 小时,OMC 3.0 用 4 小时 20 分钟完成,CPU 保持在 20% 到 40%,清理与空间回收一次完成。图引自微信公众号「PolarDB」文章。

Web3 场景清理 333 亿条零余额记录,结果如何?

4 张余额表从约 545.2 亿条降到 212.1 亿条,清理掉约 333.1 亿条零余额记录,业务全程无感,只读实例没有出现复制延迟。

其中一张余额表清理比例达到 94%,耗时 7 小时,重建时只需要把剩余约 6% 的存量数据写进新表。链上资产转出后余额归零的记录会长期留在库里,占比又高,正好落在重建清理收益更大的区间。清理完成后旧表空间随切换回收,余额表的数据量和存储占用一起降下来。

清理后空间会自动释放吗?

按行删除不会,重建清理会。

普通 DELETE 之后,空闲空间留在表内,后续写入可以复用,但不会按删除比例归还文件系统,要回收往往还得执行 OPTIMIZE TABLE。REBUILD CLEANUP 把清理和空间回收放在同一次重建里,切换后删除旧物理表,省掉额外重建表的时间。

需要确认磁盘真的降下来,看存储节点的用户数据空间监控,不要只看 TABLE_ROWS。

重建清理会不会拖慢备库和只读实例?

重建期间业务读写可以继续,备库按批回放,复制延迟比传统大表 DDL 更容易控制。

传统做法是在主库重建完一张大表,备库再完整重放一次,期间后续业务事务只能等着,复制延迟会被拉长。OMC 把数据重建拆成批 DML 事务,备库在重建过程中持续回放,收尾用一次快速的物理表切换完成变更。

代价也要算进去。重建仍然要扫描原表,会消耗 CPU、I/O 和额外存储,需要保留的数据越少,写入新表的数据量越小。最终切换有短暂的锁协调,执行窗口要结合业务高峰来定。案例里 4 小时 20 分钟和 7 小时两次任务,业务侧都没有感知,只读实例也没有出现复制延迟。

清理会不会影响下游数据同步?

会带来一类特定风险,依赖逐行删除事件的下游可能感知不到记录已经被清理。

按行 DELETE 在开启 Binlog 的行模式下会产生行级删除事件,下游同步链路消费这些事件就能同步删除。重建清理不会为被清理记录产生逐行 DELETE Binlog 事件,被清理的记录在下游可能继续保留,两端数据出现不一致。

操作本身仍会有 DDL 或 CDC 标记,缺的是被清理记录的逐行删除事件,不能理解成整个操作没有 Binlog。存在非 PolarDB-X 下游、数据订阅或外部增量消费时,要先通过阿里云提交工单,评估实例版本、表结构、复制链路和下游兼容性,确认这些系统如何处理源库清理,再决定执行时间。

哪些表清理前要先提工单?

含全局二级索引(GSI)或列存索引(CCI)的表,清理前都要提工单评估。

这两类索引在重建和切换时的处理方式与普通表不同,索引兼容性需要按表结构单独确认,阿里云要求评估后再执行。工单里把实例版本、表结构、索引类型和清理规则写清楚,评估会更顺。

REBUILD CLEANUP 支持哪个 PolarDB-X 版本?

PolarDB-X 企业版(分布式)的计算节点升到 5.4.21-20260730 或 5.4.21 系列后续版本就能用。

版本号对应计算节点(CN)。实例版本可以在控制台查看和升级,升级前确认存储节点和计算节点的版本组合,升级后先用 DRY RUN 在小表上验证条件写法。OMC 底座能力本身要求内核 5.4.18-17108394 及以上,重建清理在这条基线之上又要求 CN 5.4.21-20260730,版本规划按较高的一条来。

和其它清理方式相比,REBUILD CLEANUP 适合什么业务?

适合历史数据占比高、要求当天完成、还要顺手把空间收回来的一次性清理。

对比项

按行 DELETE

REBUILD CLEANUP

数据处理

在原表逐条删除

保留数据复制到目标表,切换后清理旧表

执行组织

自己管批次、并发和重试

DDL 流程组织复制、增量同步和切换

空间回收

通常还要重建表或执行 OPTIMIZE TABLE

重建和旧表清理过程中完成

删除事件

行模式下产生行级删除事件

不为被清理记录产生逐行 DELETE 事件

下游影响

消费删除事件的链路能同步

依赖删除事件的链路可能感知不到

已经按时间分区、又没有全局索引的表,DROP PARTITION 更直接,一条 DDL 就能丢掉整段历史。数据按保留期每天清一点,TTL 清理更省事;历史订单归档、Web3 零余额记录这类占比高、又要当天完成的一次性大清理,重建清理的优势更明显。

常见问题

一天清理 36 亿条历史数据,PolarDB-X 的 REBUILD CLEANUP 需要多久?

案例中 13 张表、36.67 亿条已归档订单用 4 小时 20 分钟完成,平均约 23.5 万条/秒,期间 CPU 稳定在 20% 到 40%。这是单客户单次任务的数据,实际耗时受表结构、索引数量和业务负载影响。

PolarDB-X 的 REBUILD CLEANUP 和 DELETE 有什么区别?

DELETE 在原表逐条删除,留行锁和 Binlog,空间不自动归还。REBUILD CLEANUP 把保留数据复制到新物理表,校验后原子切换,清理和空间回收一次完成,也不产生逐行 DELETE 事件。

REBUILD CLEANUP 支持哪些 PolarDB-X 版本?

要求计算节点为 5.4.21-20260730 或 5.4.21 系列后续版本。实例版本可以在控制台查看和升级。

清理条件里能用 NOW() 或子查询吗?

不能。条件只支持本表字段的比较,配合 IN、BETWEEN、LIKE、IS NULL 和 AND、OR 组合,子查询与 NOW()、RAND() 这类非确定性函数都不支持,时间边界要写成固定值。

重建清理期间业务还能正常读写吗?

可以。重建期间业务读写照常,最终切换有短暂的锁协调。重建仍会扫描原表并消耗 CPU、I/O 和额外存储,执行窗口要结合业务负载来定。

清理完成后为什么表空间没有立刻变小?

TABLE_ROWS 是统计估算值,表级统计也不等于磁盘释放的字节数。按行删除的空闲空间不会归还文件系统,要回收得执行 OPTIMIZE TABLE 或重建表。重建清理会在切换后删除旧物理表,确认磁盘下降要看存储节点的用户数据空间监控。

重建清理不产生 DELETE binlog,下游订阅怎么办?

依赖逐行删除事件的下游可能继续保留已清理记录。执行前通过阿里云提交工单,评估复制链路和下游兼容性,明确这些系统如何处理源库清理。

带 GSI 或 CCI 的表能直接用 REBUILD CLEANUP 清理吗?

不能直接执行。含全局二级索引或列存索引的表要先提工单,评估表结构和索引兼容性,确认方案后再清理。

参考来源

目录
相关文章
|
5天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
6855 15
|
5天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2293 8
|
8天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
8天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
3天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
21天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
10169 59
|
4天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1047 0
|
7天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。
|
15天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3481 9