信创迁移适配实战-MySQL到达梦数据库DM8的数据迁移

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 信创迁移适配实战-MySQL到达梦数据库DM8的数据迁移

背景


虽然最终会被部署到国产数据库环境,但是实际项目开发时大概率是一开始在 MySQL 上开发,直到最后部署时再做迁移适配。


之前是我们在项目真正开发之前进行的预研与测试。今天开始真实场景下的数据迁移,操作系统与数据库已经由专业的运维人员安装完毕,操作系统:统信UOS;数据库:达梦8


虽然可以在IDEA中建立与DM8服务端连接,并且提供了不少功能,但是不能直接修改字段类型。还是通过DM自带的管理工具比较方便。到达梦官方注册账号,下载 Windows 下的开发版,可仅安装客户端工具。

image.png

这次我们用到的主要是DM管理工具DM数据迁移工具


由于本系列文章仅用于记录当时项目的国产化迁移过程,不涉及太多的理论内容,基本都是一系列的操作过程,所以行文上就直接上操作了。如果您有任何疑问,欢迎留言评论。


从前车马很慢,书信很远,一生只够爱一个人。

如今生活太快,时间太少,不要绕圈子,给我来个痛快的。


数据迁移


包括配中心置数据库迁移与业务后台数据迁移。这里以 Nacos 官方的配置数据库迁移为例进行示例,迁移过程很顺利。


创建用户/模式


create user STANDARD_CONFIG identified by STANDARD_CONFIG123 limit failed_login_attemps 5, password_lock_time 5;


新建的 STANDARD_CONFIG 用户默认为 PUBLIC 角色,没有建表权限,先赋予建表权限,再迁移数据。

image.png


开始迁移


  • Nacos 官方的配置数据库迁移

image.png

  • Nacos 官方的配置数据库迁移成功

image.png


错误处理


字段长度错误


实际迁移业务数据库时可能遇到一些报错问题,我们逐一解决。迁移过程中的报错一般都是字段长度超限, MySQL 和达梦字段长度定义不同, MySQL 中长度是达梦的3倍,所以只要将达梦的字段长度改为 MySQL 的3倍即可,可通过以下语句修改。


ALTER TABLE SYSDBA.SYS_USER MODIFY NICK_NAME varchar(90) NOT NULL;


自增列赋值错误


当手动导入数据时,报错:仅当指定列列表,且 SET IDENTITY_INSERTON 时,才能对自增列赋值;这是由于我们的数据对自增列进行了赋值操作,需要先开启对自增列的更新才能进行插入操作,注意不能有反引号。

set IDENTITY_INSERT sys_user ON;
INSERT INTO sys_user (user_id, dept_id, unit_id, user_name, nick_name, user_type, email, phonenumber, sex, avatar, password, status, del_flag, login_ip, login_date, create_by, create_time, update_by, update_time, remark) VALUES (1, 101, NULL, 'admin', 'administrator', '00', '123@163.com', '15888888888', '1', '', '$2a$10$7JB720yubVSZvUI0rEqK/.VqGOZPH.ulu33dHOiBE8ByOhJIrdAu2', '0', '0', '127.0.0.1', '2021-11-22 11:15:51', 'admin', '2021-11-22 11:15:51', '', NULL, '管理员');
set IDENTITY_INSERT sys_user OFF;

另外,通过程序执行时,可能遇到同样的错误,我们使用 MyBatisPlus ,进行 save 操作时(采用默认的策略,即生成的雪花算法),因为默认的 SQL 语句包含了 ID 列的赋值导致报错,解决办法是将 ID 主键字段设置为非自增。


UPDATE不生效


UPDATE 语句要带 commit

UPDATE SYS_NOTICE SET notice_content = '<p>你懂的,for search.</p>';
commit;


JSON支持


DM 支持 JSON 数据的存储和查询,在 DM 库中 JSON 以字符串形式存储。

CREATE TABLE std_standard_option (
  name VARCHAR(50) NOT NULL COMMENT '名称',
  content VARCHAR CONSTRAINT JSON_CHECK CHECK(CONTENT IS JSON) COMMENT '内容'
)


达梦字符串截断


虽然 DM 支持 JSON 数据的存储和查询,但是我们的 JSON 长度过长,超出了 JSON 类型能够存储的最大长度,后来就干脆使用 TEXT 类型来存储 JSON 数据。

CREATE TABLE "SYSDBA"."STD_STANDARD_TITLE"
(
"name" VARCHAR(50) NOT NULL,
"content" TEXT NOT NULL);
COMMENT ON TABLE "SYSDBA"."STD_STANDARD_TITLE" IS '标准题录表';
COMMENT ON COLUMN "SYSDBA"."STD_STANDARD_TITLE"."content" IS '内容';
COMMENT ON COLUMN "SYSDBA"."STD_STANDARD_TITLE"."name" IS '名称';

达梦数据库中一行记录的所有字段的实际长度的和不能超过页大小的一半。在达梦数据库中,一行记录所有字段长度累加不能超过下表:

image.png


项目适配


信创迁移适配预研-SpringBoot连接达梦数据库DM8服务并在IDEA中连接,我们使用自己安装到虚拟机环境的数据库服务,并且通过添加外部依赖的方式加载依赖,这里我们要将数据库依赖打包至部署包中。


项目依赖


  • 安装依赖至本地仓库
mvn install:install-file -Dfile=D:\Java\IdeaProjects\dmtest\drivers\jdbc\DmJdbcDriver18.jar -DgroupId=com.dm -DartifactId=DmJdbcDriver18 -Dversion=1.8 -Dpackaging=jar
  • pom.xml
<dependency>
            <groupId>com.dm</groupId>
            <artifactId>DmJdbcDriver18</artifactId>
            <version>1.8</version>
        </dependency>
  • yml
driver-class-name: dm.jdbc.driver.DmDriver
            url: jdbc:dm://192.168.21.64:5236
            username: SYSDBA
            password: SYSDBA


函数报错


项目打包部署后,在实际国产化环境下进行测试,发现一些函数报错了。


  • MySQL 中使用的函数 find_in_set 迁移到DM8后报错。

###Error querying database. Cause: dm.jdbc.driver. DMException: 第1 行附近出现错误: 无法解析的成员访问表达式[find_in_set] ###The error may exist in class path resource [mapper/system/SysUserMapper.xml] ###The error may involve com.yfcx.system.mapper. SysUserMapper.selectUserList_COUNT ###The error occurred while executing a query ###SQL: SELECT count(0) FROM sys_user u LEFT JOIN sys_dept d ON u.dept_id = d.dept_id WHERE u.del_flag = '0' AND (u.dept_id = ? OR u.dept_id IN (SELECT t.dept_id FROM sys_dept t WHERE find_in_set(?, ancestors))) ###Cause: dm.jdbc.driver. DMException: 第1 行附近出现错误: 无法解析的成员访问表达式[find_in_set] ; 第1 行附近出现错误: 无法解析的成员访问表达式[find_in_set]; nested exception is dm.jdbc.driver. DMException: 第1 行附近出现错误: 无法解析的成员访问表达式[find_in_set]

解决:在达梦数据库中执行

CREATE OR REPLACE FUNCTION FIND_IN_SET
                (
                        piv_str1 varchar2,
                        piv_str2 varchar2,
                        p_sep    varchar2 := ',')
                RETURN NUMBER
                            IS
                l_idx     number:=0;                 -- 用于计算piv_str2中分隔符的位置
                str       varchar2(500);             -- 根据分隔符截取的子字符串
                piv_str   varchar2(500) := piv_str2; -- 将piv_str2赋值给piv_str
                res       number        :=0;         -- 返回结果
                loopIndex number        :=0;
        BEGIN
                -- 如果piv_str中没有分割符,直接判断piv_str1和piv_str是否相等,相等 res=1
                IF instr(piv_str, p_sep, 1) = 0 THEN
                        IF piv_str          = piv_str1 THEN
                                res        := 1;
                        END IF;
                ELSE
                        -- 循环按分隔符截取piv_str
                        LOOP
                                l_idx    := instr(piv_str, p_sep);
                                loopIndex:=loopIndex+1;
                                -- 当piv_str中还有分隔符时
                                IF l_idx > 0 THEN
                                        -- 截取第一个分隔符前的字段str
                                        str:= substr(piv_str, 1, l_idx-1);
                                        -- 判断 str 和piv_str1 是否相等,相等 res=1 并结束循环判断
                                        IF str      = piv_str1 THEN
                                                res:= loopIndex;
                                                EXIT;
                                        END IF;
                                        piv_str := substr(piv_str, l_idx+length(p_sep));
                                ELSE
                                        -- 当截取后的piv_str 中不存在分割符时,判断piv_str和piv_str1是否相等,相等 res=1
                                        IF piv_str  = piv_str1 THEN
                                                res:= loopIndex;
                                        END IF;
                                        -- 无论最后是否相等,都跳出循环
                                        EXIT;
                                END IF;
                        END LOOP;
                        -- 结束循环
                END IF;
                -- 返回res
                RETURN res;
        END FIND_IN_SET;
commit;
  • MySQL 中使用的函数 cast(field as char) 迁移到DM8后报错。
###Error querying database.  Cause: dm.jdbc.driver.DMException: 第10 行附近出现错误: 无法转换的数据类型
###The error may exist in class path resource [mapper/system/SysNoticeMapper.xml]
###The error may involve com.yfcx.system.mapper.SysNoticeMapper.selectNoticeList
###The error occurred while executing a query
###SQL: SELECT * FROM (  SELECT TMP_PAGE.*, ROWNUM PAGEHELPER_ROW_ID FROM (  select notice_id, notice_title, notice_type, cast(notice_content as char) as notice_content, status, create_by, create_time, update_by, update_time, remark from sys_notice WHERE  notice_type = ? order by create_time desc  ) TMP_PAGE) WHERE PAGEHELPER_ROW_ID <= ? AND PAGEHELPER_ROW_ID > ?

这个错误主要是由于富文本编辑器内容使用了 BLOB 类型存储,在 DM8 中类型转换失败。


解决:不过前端的富文本编辑器不支持图片上传,由于字段内容不包含图片等二进制内容,在达梦数据库中直接换成了 TEXTCLOB 类型就可以了。记得在代码中去掉 cast 转换函数。


关于字符串与二进制类型的各类转换,达梦的文档中有以下说明:CAST(value AS type)

image.png


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
10天前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
2月前
|
弹性计算 关系型数据库 数据库
自建数据库迁移到云数据库实操
本课程详细介绍了自建数据库迁移到阿里云RDS的实操步骤。主要内容包括:创建实例资源、安全设置、配置自建的MySQL数据库、数据库的迁移、从自建数据库切换到RDS以及清理资源。通过这些步骤,学员可以掌握如何将自建数据库安全、高效地迁移到云端,并确保应用的正常运行。
153 26
|
28天前
|
运维 关系型数据库 MySQL
体验领礼啦!体验自建数据库迁移到阿里云数据库RDS,领取桌面置物架!
「技术解决方案【Cloud Up 挑战赛】」上线!本方案介绍如何将自建数据库平滑迁移至云数据库RDS,解决业务增长带来的运维难题。通过使用RDS MySQL,您可获得稳定、可靠和安全的企业级数据库服务,专注于核心业务发展。完成任务即可领取桌面置物架,每个工作日限量50个,先到先得。
|
2月前
|
弹性计算 关系型数据库 数据库
从自建到云端,数据库迁移全攻略
本文详细介绍了将自建数据库迁移至阿里云RDS的全过程,涵盖WordPress网站安装、数据库迁移配置及验证等步骤。通过DTS数据传输服务,实现库表结构、全量和增量数据的无缝迁移,确保业务连续性和数据一致性。方案具备零成本维护、高可用性(最高99.99%)、性能优化及全面的数据安全保障等核心优势。此外,提供了详细的图文教程,帮助用户快速上手并完成迁移操作,确保业务稳定运行。点击文末“阅读原文”了解更多详情及参与活动赢取精美礼品。
126 13
|
15天前
|
缓存 关系型数据库 MySQL
【深入了解MySQL】优化查询性能与数据库设计的深度总结
本文详细介绍了MySQL查询优化和数据库设计技巧,涵盖基础优化、高级技巧及性能监控。
128 0
|
2月前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
66 3
|
2月前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
95 3
|
2月前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE &#39;log_%&#39;;`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
99 2
|
2月前
|
运维 关系型数据库 MySQL
自建数据库迁移到云数据库RDS
本次课程由阿里云数据库团队的凡珂分享,主题为自建数据库迁移至云数据库RDS MySQL版。课程分为四部分:1) 传统数据库部署方案及痛点;2) 选择云数据库RDS MySQL的原因;3) 数据库迁移方案和产品选型;4) 线上活动与权益。通过对比自建数据库的局限性,介绍了RDS MySQL在可靠性、安全性、性价比等方面的优势,并详细讲解了使用DTS(数据传输服务)进行平滑迁移的步骤。此外,还提供了多种优惠活动信息,帮助用户降低成本并享受云数据库带来的便利。
|
2月前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
310 15

热门文章

最新文章