最佳实践—如何正确处理DDL异常

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 本文介绍处理DDL异常的常用方法。

概述

作为一款分布式数据库,PolarDB-X中的一条DDL语句背后隐藏着复杂的数据处理流程。例如创建一张拆分表时,实际上会在多个数据节点上创建很多张物理MySQL表。PolarDB-X的DDL处理框架拥有一定的容错能力,会保证DDL的正确性和一致性。但在特殊情况下,需要手动处理DDL异常。

处理步骤

下面以创建全局唯一二级索引为例,介绍处理DDL异常的步骤。创建全局唯一二级索引时,会校验列中数据的全局唯一性,如果发现列中数据不唯一,则会导致DDL的执行失败。此时DDL的状态可能变为“PAUSED”或“ROLLBACK_PAUSED”。

  1. 查看DDL的执行状态执行SHOW DDL语句,查看DDL的执行状态。只有当DDL状态为“PAUSED”或“ROLLBACK_PAUSED”时,才需要手动处理。
mysql> show ddl\G;
*************************** 1. row ***************************
           JOB_ID: 1359992239576580096
    OBJECT_SCHEMA: d1
      OBJECT_NAME: t1
           ENGINE: DAG
         DDL_TYPE: ALTER_TABLE
            STATE: PAUSED
BACKFILL_PROGRESS: 0%
 PHY_DDL_PROGRESS: 100%
         PROGRESS: 80%
       START_TIME: 2021-08-05 13:57:57.852
         END_TIME: 2021-08-05 13:58:30.804
 ELAPSED_TIME(MS): 32952
      PHY_PROCESS: 
       CANCELABLE: true
1 row in set (0.03 sec)
  1. 判断错误原因通常DDL异常发生时,会直接返回错误信息。有时DDL的错误信息可能难以获取(例如DDL是异步执行的),可以通过SHOW DDL RESULT语句查看近期执行过的DDL。在本示例中,从返回的错误信息中看到出现了UNIQUE KEY的冲突。
mysql> alter table t1 add unique global INDEX `idx_c2`(`c2`) DBPARTITION BY HASH(`c2`) tbpartition by hash(c2) tbpartitions 3;

ERROR 3009 (HY000): 12dfa9bc5c800000[d1]Failed to execute the DDL task. Caused by: ERR-CODE: TDDL-5321 Duplicated entry '100018' for key 'PRIMARY'
mysql> show ddl result\G;
1. row **
JOB_ID: 1359992239576580096
SCHEMA_NAME: d1
OBJECT_NAME: t1
DDL_TYPE: ALTER_TABLE
RESULT_TYPE: ERROR
RESULT_CONTENT: Failed to execute the DDL task. Caused by: ERR-CODE: TDDL-5321 Duplicated entry '100018' for key 'PRIMARY'
  1. 恢复或取消DDL大多数情况下,DDL出错时都能够自动恢复或取消。特殊情况需要手动处理DDL异常。各个DDL的容错策略可能不同,例如CREATE TABLE语句的容错策略是:自动尝试恢复,多次失败则自动取消。可以手动恢复或取消DDL任务。
    • 手动恢复:使用CONTINUE DDL语句可以恢复DDL任务。
    • 手动取消:使用CANCEL DDL语句可以取消DDL任务。有些DDL任务可能是无法取消的,可以通过SHOW DDL语句返回的“CANCELABLE”字段查看是否可以取消。
-- 处理完UNIQUE KEY的数据冲突后,可以使用continue ddl语句继续执行
mysql> continue ddl 1359992239576580096;
Query OK, 1 row affected (1.63 sec)
-- 如果不想再继续添加这个全局唯一二级索引,则可以直接取消任务
mysql> cancel ddl 1359992239576580096;
Query OK, 1 row affected (0.03 sec)
  1. 检查表一致性和正确性DDL执行成功后,建议使用以下语句检查表的一致性和表结构的正确性:
    • 使用CHECK TABLE语句检查表的一致性:如果返回结果为OK,说明表已经处于一致性状态,可以正常使用;如果返回报错信息,提示表处于不一致状态,请联系阿里云技术支持。
    • 使用SHOW CREATE TABLE语句查看表结构的正确性。
mysql> check table t1;
+-------+-------+----------+----------+
| TABLE | OP | MSG_TYPE | MSG_TEXT |
+-------+-------+----------+----------+
| d1.t1 | check | status | OK |
+-------+-------+----------+----------+
1 row in set (0.05 sec)
mysql> show create table t1\G;
1. row **
Table: t1
Create Table: CREATE TABLE `t1` (
`c1` bigint(20) NOT NULL AUTO_INCREMENT BY GROUP,
`c2` bigint(20) DEFAULT NULL,
`c3` bigint(20) DEFAULT NULL,
PRIMARY KEY USING BTREE (`c1`),
UNIQUE GLOBAL KEY `idx_c2` (`c2`) COVERING (`c1`) DBPARTITION BY HASH(`c2`) TBPARTITION BY HASH(`c2`) TBPARTITIONS 3
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 dbpartition by hash(`c1`) tbpartition by hash(`c1`) tbpartitions 3
1 row in set (0.02 sec)
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
13天前
|
网络协议 Java 网络安全
如何处理“协议异常”错误
当遇到“协议异常”错误时,通常需要检查网络连接、防火墙设置和软件版本。确保所有组件都是最新的,并尝试重新启动设备或应用程序。如果问题持续存在,请联系技术支持以获取进一步的帮助。
|
3月前
|
Cloud Native 数据处理
项目环境测试问题之当异步任务在运行过程中抛出非预期的异常会导致后果如何解决
项目环境测试问题之当异步任务在运行过程中抛出非预期的异常会导致后果如何解决
|
前端开发 rax Linux
【CSAPP】异常控制流 | 异常表 | 异常类别 | 同步异常 | 异步异常
【CSAPP】异常控制流 | 异常表 | 异常类别 | 同步异常 | 异步异常
129 0
|
6月前
|
程序员
项目中的全局异常是如何处理的
项目中的全局异常处理通常包括对预期异常(程序员手动抛出)和运行时异常的管理。项目已提供`BaseException`作为基础异常类,用于手动抛出异常,并通过`GlobalExceptionHandler`进行全局处理。`
57 4
|
6月前
|
前端开发 程序员
项目中异常是如何处理的
项目中设定了全局异常处理器,统一处理预期和运行时异常。预期异常由程序员手动抛出,用于异常情况的接口返回;运行时异常为不可控错误,提供统一返回格式便于前端提示和后端排查。全局异常处理器借助@RestControllerAdvice和@ExceptionHandler注解,前者标识处理器,后者按异常类型定制前端响应,如预期异常直接返回,运行时异常则调整响应内容。
94 0
|
6月前
|
SQL 分布式计算 Java
MaxCompute异常问题之插入语法异常如何解决
MaxCompute异常涉及到在使用阿里云MaxCompute大数据计算服务时遇到的各种错误和问题;本合集将提供针对MaxCompute异常的分析和解决方案,帮助用户处理数据处理、分析任务中的异常情况。
|
6月前
|
SQL 分布式计算 MaxCompute
MaxCompute异常问题之运行语句异常如何解决
MaxCompute异常涉及到在使用阿里云MaxCompute大数据计算服务时遇到的各种错误和问题;本合集将提供针对MaxCompute异常的分析和解决方案,帮助用户处理数据处理、分析任务中的异常情况。
|
6月前
|
SQL 关系型数据库 MySQL
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
99 0
|
5月前
|
人工智能 Python Shell
CodeFormer——AI驱动的面部图像修复与增强
CodeFormer是由南洋理工大学和商汤科技联合研发的AI人脸复原模型,结合VQGAN和Transformer技术,能从模糊或马赛克图像中生成清晰图像。它具备老照片修复、黑白照片彩色化、马赛克修复和低码率视频增强等功能。安装过程涉及miniconda3、Python环境配置、相关库的安装及模型训练数据下载。在测试视频增强时,虽然初期遇到ffmpeg导入问题,但通过安装ffmpeg-python得以解决,不过CPU占用率高。此外,还展示了对图片进行增强的命令行操作及结果示例。
|
6月前
|
算法 安全 C语言
【C 言专栏】C 语言中的多线程编程
【5月更文挑战第5天】本文探讨了C语言中的多线程编程,包括多线程概念、通过POSIX线程库和Windows线程库的实现方式、基本步骤(创建、执行、同步、销毁线程)、线程同步机制(互斥锁、条件变量、信号量)以及优点(提高性能、增强并发处理、改善用户体验)。同时,文章指出多线程编程面临的挑战如线程安全、死锁和资源竞争,并提及内存管理问题。通过案例分析和展望未来趋势,强调了掌握多线程编程在提升程序效率和应对复杂任务中的重要性。
256 0
【C 言专栏】C 语言中的多线程编程