MySQL【实践 02】MySQL迁移到PostgreSQL数据库的语法调整说明及脚本分享(通过bat命令修改mapper文件内的SQL语法)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: MySQL【实践 02】MySQL迁移到PostgreSQL数据库的语法调整说明及脚本分享(通过bat命令修改mapper文件内的SQL语法)

1.迁移说明

数据架构方案由现在的GP+MySQL调整为GP/PG。新的方案中,当使用单服务器部署数据库时,数据库直接部署为PG,可以使用Docker进行快速部署避免GP部署麻烦的问题,且适用于大多数的客户使用场景;当PG无法承载客户的数据时,部署方案调整为GP,相对的部署方案会复杂一些,同时依然要部署PG数据库用来作为其他微服务的业务数据库,避免GP的高并发不适应的问题,提高系统的稳定性。尽量不使用PG9到PG12中间新增的特性函数用法,查询语句几乎兼容PG和GP。

PG数据库的语法与MySQL不完全相同,故需要对SQL进行调整,且PG对字段类型的匹配也比较严格,需要对其进行强制转换。

2.函数

2.1 字符串函数

函数 说明 返回类型
string || string 字符串连接 text
length(string) 字符串中字符的数目 int
lower(str)、upper(str) 字符串小写与大写 text
position(substring in string) 字符串在另一个字符串中出现的位置 int
substring(string [from int] [for int]) 获取子字符串 text
trim([leading | trailing | both] [characters] from string) 从字符串的开头|结尾|两边截掉指定字符 text
ltrim(string)、rtrim(string)、trim(string) 截掉字符串开头|结尾|两边的空格 text
overlay(string placing string from int [for int]) 替换指定位置的字符 text
replace(string text, from text, to text) 替换所有子字符为另一个字符 text
split_part(string text, delimiter text, field int) 根据分隔字符返回第field个字符串 text
string_agg(fields, delimiter text [order by fields]) 分组拼接字符串 text

部分实例:

-- 字符串连接
-- %keyword%
SELECT '%' || 'keyword' || '%' 
-- 字符串中字符的数目
-- 15
SELECT LENGTH( 'PostgreSQL12数据库' )
-- 字符串小写与大写
-- postgresql,POSTGRESQL
SELECT LOWER( 'PostgreSQL' ),UPPER( 'PostgreSQL' )
-- 字符串出现的位置(下标从1开始)
-- 8
SELECT POSITION( 'S' IN 'PostgreSQL' );
-- 获取子字符串(下标从1开始)
-- SQL
SELECT SUBSTRING( 'PostgreSQL' FROM 8 FOR 3 );
-- 删除字符串的指定字符
-- PostgreSQL
SELECT TRIM( BOTH 's' FROM 'sPostgreSQLss' );
-- 删除字符两端空格
-- PostgreSQL
SELECT TRIM( '  PostgreSQL  ' )
-- 替换指定位置的字符
-- PostgreSQL
SELECT OVERLAY( 'PxxxgreSQL' PLACING 'ost' FROM 2 FOR 3 );
-- 替换所有子字符为另一个字符
-- PostgreSQL
SELECT REPLACE( 'PostgresQL', 'sQ', 'SQ' );
-- 根据分隔字符返回第x个字符串
-- PostgreSQL
SELECT SPLIT_PART( 'MySQL|PostgreSQL|Greenplum', '|', 2 );
-- 分组拼接字符串 类似与 group_concat
STRING_AGG(fields, ',' )
STRING_AGG(fields, ',' ORDER BY fields)

2.2 日期函数

函数 说明 返回类型
current_date 当前日期 date
current_time 当前时间 time with time zone
current_timestamp、now() 当前时间戳 timestamp with time zone
date_part(text, timestamp) 获取子域(等效于extract) double precision
extract(unit from date) 获取子域 double precision
date_trunc(text, timestamp) 截取指定的精度 timestamp

部分实例:

-- 获取当前的日期、时间、时间戳
-- 2022-10-19,15:22:38.890969+08,2022-10-19 15:22:38.890969+08,2022-10-19 15:22:38.890969+08
SELECT CURRENT_DATE,CURRENT_TIME,CURRENT_TIMESTAMP,now()
-- 获取子域 year,month,day,hour,minute,second
-- 2022
SELECT date_part('year',TIMESTAMP'2022-10-19 11:07:30') 
-- 10
SELECT extract('month' FROM now())
-- 截取指定的精度
-- now() 2022-10-19 16:43:17.895054+08
-- 2022-10-19 00:00:00+08
SELECT date_trunc('day', now());
-- 2022-10-19 16:00:00+08
SELECT date_trunc('hour', now());

其他实例:

-- 日期加减 year,month,day,hour,minute,second
-- 2022-10-19 13:51:00.409176+08 --> 2022-11-18 13:51:00.409176+08
SELECT now( ) + INTERVAL '1 month' - INTERVAL '1 day'
-- 字符串转时间戳
-- 2022-10-19 16:53:12+08
SELECT to_timestamp( '2022-10-19 16:53:12', 'YYYY-MM-DD hh24:mi:ss' )
-- 日期转字符串
-- 2022-10-19 16:52:28
SELECT to_char ( now( ), 'YYYY-MM-DD hh24:mi:ss' )
-- 2018-12-06
SELECT to_char ( CAST (''|| 20181206 AS TIMESTAMP ), 'YYYY-MM-DD' )
-- 空值函数(默认值的类型要跟字段的值类型一致)
SELECT COALESCE( fieldsName, fieldsDefaultValue)

2.3 其他函数

-- 根据分组将字段值放入array并获取排序后的值
SELECT ( ARRAY_AGG ( fields order by fieldsName desc ) ) [ 1 ] FROM table

3.主要修改

3.1字段别名

-- 字段别名(需要添加双引号 否则会变小写)
SELECT fields_name AS "fieldsName" FROM table_name

3.2 concat

-- MySQL
concat('%', #{keyword}, '%')
-- PostgreSQL
'%' || #{keyword} || '%'

4.替换语句

数据库需要安装以下扩展:

-- 用于uuid函数
CREATE extension "uuid-ossp";

以下使用bat脚本进行全量替换:

原始值 替换值
STR_TO_DATE TO_TIMESTAMP
str_to_date to_timestamp
%Y-%m-%d %H:%i:%s YYYY-MM-DD hh24:mi:ss
%Y-%m-%d YYYY-MM-DD
%H:%i:%s hh24:mi:ss
%Y-%m YYYY-MM
date_format to_char
sysdate() to_timestamp ( ‘’ || now( ), ‘YYYY-MM-DD hh24:mi:ss’ )
uuid() uuid_generate_v4()
IFNULL COALESCE
ifnull coalesce

5.脚本分享

5.1 脚本内容

@echo off
setlocal EnableDelayedExpansion
:: (1)替换 STR_TO_DATE 函数为 TO_TIMESTAMP
set "strOld1=STR_TO_DATE"
set "strNew1=TO_TIMESTAMP"
echo (1)Replac: STR_TO_DATE TO TO_TIMESTAMP
:: (2)替换 str_to_date 函数为 to_timestamp
set "strOld2=str_to_date"
set "strNew2=to_timestamp"
echo (2)Replac: str_to_date TO to_timestamp
for /f %%i in ('dir /b /s /a:-d *.xml') do (
 pwsh -Command "(gc %%i) -replace '%strOld1%', '%strNew1%' -replace '%strOld2%', '%strNew2%' | Out-File %%i -Encoding utf8 "
)
:: (3)替换日期格式 %Y-%m-%d %H:%i:%s 为 YYYY-MM-DD hh24:mi:ss
set "strOld1=%%Y-%%m-%%d %%H:%%i:%%s"
set "strNew1=YYYY-MM-DD hh24:mi:ss"
echo (3)Replac: %%Y-%%m-%%d %%H:%%i:%%s TO YYYY-MM-DD hh24:mi:ss
:: (4)替换日期格式 %Y-%m-%d 为 YYYY-MM-DD
set "strOld2=%%Y-%%m-%%d"
set "strNew2=YYYY-MM-DD"
echo (4)Replac: %%Y-%%m-%%d TO YYYY-MM-DD
:: (5)替换日期格式 %H:%i:%s 为 hh24:mi:ss
set "strOld3=%%H:%%i:%%s"
set "strNew3=hh24:mi:ss"
echo (5)Replac: %%H:%%i:%%s TO hh24:mi:ss
:: (6)替换日期格式 %Y-%m 为 YYYY-MM
set "strOld4=%%Y-%%m"
set "strNew4=YYYY-MM"
echo (6)Replac: %%Y-%%m TO YYYY-MM
for /f %%i in ('dir /b /s /a:-d *.xml') do (
 pwsh -Command "(gc %%i) -replace '!strOld1!', '%strNew1%' -replace '!strOld2!', '%strNew2%' -replace '!strOld3!', '%strNew3%' -replace '!strOld4!', '%strNew4%'| Out-File %%i -Encoding utf8 "
)
:: (7)替换 date_format 函数为 to_char
set "strOld=date_format"
set "strNew=to_char"
echo (7)Replac: date_format TO to_char
for /f %%i in ('dir /b /s /a:-d *.xml') do (
 pwsh -Command "(gc %%i) -replace '%strOld%', '%strNew%' | Out-File %%i -Encoding utf8 "
)
:: (8)替换 sysdate() 函数为 to_timestamp ( '' || now( ), 'YYYY-MM-DD hh24:mi:ss' )
set "strOld=sysdate\(\)"
set "strNew=to_timestamp(now() || '''',''YYYY-MM-DD hh24:mi:ss'')"
echo (8)Replac: "sysdate() TO to_timestamp (now()||'', 'YYYY-MM-DD hh24:mi:ss')"
for /f %%i in ('dir /b /s /a:-d *.xml') do (
 pwsh -Command "(gc %%i) -replace '!strOld!', '!strNew!' | Out-File %%i -Encoding utf8 "
)
:: (9)替换 uuid 函数为 uuid_generate_v4
set "strOld=uuid\(\)"
set "strNew=%''''|| uuid_generate_v4()"
echo (9)Replac: uuid TO uuid_generate_v4
for /f %%i in ('dir /b /s /a:-d *.xml') do (
 pwsh -Command "(gc %%i) -replace '!strOld!', '!strNew!' | Out-File %%i -Encoding utf8 "
)
:: (10)替换 IFNULL 函数为 COALESCE
set "strOld1=ifnull"
set "strNew1=coalesce"
set "strOld2=IFNULL"
set "strNew2=COALESCE"
echo (10)Replac: IFNULL To COALESCE
for /f %%i in ('dir /b /s /a:-d *.xml') do (
 pwsh -Command "(gc %%i) -replace '%strOld1%', '%strNew1%' -replace '%strOld2%', '%strNew2%' | Out-File %%i -Encoding utf8 "
)

5.2 脚本使用说明

  1. 需要安装最新版本的powershell否在会出现中文乱码(主要是mapper文件内的注释信息)。
  2. 将bat脚本放置到mpper文件夹下。
  3. 双击执行。(会批量替换一部分函数和字符串)
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
SQL 关系型数据库 MySQL
MySQL进阶突击系列(07) 她气鼓鼓递来一条SQL | 怎么看执行计划、SQL怎么优化?
在日常研发工作当中,系统性能优化,从大的方面来看主要涉及基础平台优化、业务系统性能优化、数据库优化。面对数据库优化,除了DBA在集群性能、服务器调优需要投入精力,我们研发需要负责业务SQL执行优化。当业务数据量达到一定规模后,SQL执行效率可能就会出现瓶颈,影响系统业务响应。掌握如何判断SQL执行慢、以及如何分析SQL执行计划、优化SQL的技能,在工作中解决SQL性能问题显得非常关键。
|
20天前
|
SQL 关系型数据库 MySQL
【MySQL】SQL分析的几种方法
以上就是SQL分析的几种方法。需要注意的是,这些方法并不是孤立的,而是相互关联的。在实际的SQL分析中,我们通常需要结合使用这些方法,才能找出最佳的优化策略。同时,SQL分析也需要对数据库管理系统,数据,业务需求有深入的理解,这需要时间和经验的积累。
42 12
|
28天前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
28天前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
3月前
|
SQL 存储 关系型数据库
MySQL原理简介—1.SQL的执行流程
本文介绍了MySQL驱动、数据库连接池及SQL执行流程的关键组件和作用。主要内容包括:MySQL驱动用于建立Java系统与数据库的网络连接;数据库连接池提高多线程并发访问效率;MySQL中的连接池维护多个数据库连接并进行权限验证;网络连接由线程处理,监听请求并读取数据;SQL接口负责执行SQL语句;查询解析器将SQL语句解析为可执行逻辑;查询优化器选择最优查询路径;存储引擎接口负责实际的数据操作;执行器根据优化后的执行计划调用存储引擎接口完成SQL语句的执行。整个流程确保了高效、安全地处理SQL请求。
303 77
|
2月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】如何将mysql含有group by的SQL转换成崖山支持的SQL
本文探讨了在YashanDB(崖山数据库)中执行某些SQL语句时出现的报错问题,对比了MySQL的成功执行结果。问题源于SQL-92标准对非聚合列的严格限制,要求这些列必须出现在GROUP BY子句中,而SQL:1999及更高版本允许非聚合列直接出现在选择列中。YashanDB和Oracle遵循SQL-92标准,因此会报错。文章提供了两种解决方法:使用聚合函数处理非聚合列,或将GROUP BY与ORDER BY拆分为两层查询。最后总结指出,SQL-92标准更为严谨合理,建议开发者遵循此规范以避免潜在问题。
|
3月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
114 9
|
3月前
|
SQL 存储 缓存
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
131 3
|
3月前
|
SQL Oracle 关系型数据库
【YashanDB 知识库】如何将 mysql 含有 group by 的 SQL 转换成崖山支持的 SQL
在崖山数据库中执行某些 SQL 语句时出现报错(YAS-04316 not a single-group group function),而这些语句在 MySQL 中能成功执行。原因是崖山遵循 SQL-92 标准,不允许选择列表中包含未在 GROUP BY 子句中指定的非聚合列,而 MySQL 默认允许这种操作。解决办法包括:使用聚合函数处理非聚合列或拆分查询为两层,先进行 GROUP BY 再排序。总结来说,SQL-92 更严格,确保数据一致性,MySQL 在 5.7 及以上版本也默认遵循此标准。
|
3月前
|
SQL 存储 关系型数据库
MySQL原理简介—10.SQL语句和执行计划
本文介绍了MySQL执行计划的相关概念及其优化方法。首先解释了什么是执行计划,它是SQL语句在查询时如何检索、筛选和排序数据的过程。接着详细描述了执行计划中常见的访问类型,如const、ref、range、index和all等,并分析了它们的性能特点。文中还探讨了多表关联查询的原理及优化策略,包括驱动表和被驱动表的选择。此外,文章讨论了全表扫描和索引的成本计算方法,以及MySQL如何通过成本估算选择最优执行计划。最后,介绍了explain命令的各个参数含义,帮助理解查询优化器的工作机制。通过这些内容,读者可以更好地理解和优化SQL查询性能。