修改mysql_fdw兼容日期为0的数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 日期本来是不能为0的,但mysql在非严格模式下可以设置日期为0,导致pg通过mysql_fdw访问mysql时遇到日期为0的数据会报错,这里给出一种简单的解决办法。

一个项目中,开发同学使用了MySQL的非严格模式,并把表的日期字段缺省值设置成0,最近有个项目需要从PostgreSQL中访问MySQL的数据,使用的mysql_fdw扩展访问mysql中的数据,一遇到日期为0的数据就报错,又不能去修改MySQL库里的数据,万般无奈之下,分析了mysql_fdw的源码,mysql_fdw的数据转换是通过mysql_query.c中的mysql_convert_to_pg函数实现的,于是用了个比较low的方法,遇到日期为0的数据就改成0001-01-01,够用就好,记录下过程。

/** convert_mysql_to_pg:*      Convert MySQL data into PostgreSQL's compatible data types*/Datummysql_convert_to_pg(Oidpgtyp, intpgtypmod, mysql_column*column)
{
Datumvalue_datum;
DatumvalueDatum;
regproctypeinput;
HeapTupletuple;
charstr[MAXDATELEN];
bytea*result;
char*text_result=NULL;
/* get the type's output function */tuple=SearchSysCache1(TYPEOID, ObjectIdGetDatum(pgtyp));
if (!HeapTupleIsValid(tuple))
elog(ERROR, "cache lookup failed for type%u", pgtyp);
typeinput= ((Form_pg_type) GETSTRUCT(tuple))->typinput;
ReleaseSysCache(tuple);
switch (pgtyp)
    {
/** MySQL gives BIT / BIT(n) data type as decimal value.  The only way* to retrieve this value is to use BIN, OCT or HEX function in MySQL,* otherwise mysql client shows the actual decimal value, which could* be a non - printable character.  For exmple in MySQL** CREATE TABLE t (b BIT(8));* INSERT INTO t SET b = b'1001';* SELECT BIN(b) FROM t;* +--------+* | BIN(b) |* +--------+* | 1001   |* +--------+** PostgreSQL expacts all binary data to be composed of either '0' or* '1'. MySQL gives value 9 hence PostgreSQL reports error.  The* solution is to convert the decimal number into equivalent binary* string.*/caseBYTEAOID:
result= (bytea*) palloc(column->length+VARHDRSZ);
memcpy(VARDATA(result), VARDATA(column->value), column->length);
SET_VARSIZE(result, column->length+VARHDRSZ);
returnPointerGetDatum(result);
caseBITOID:
sprintf(str, "%d", dec_bin(*((int*) column->value)));
valueDatum=CStringGetDatum((char*) str);
break;
caseTEXTOID:
text_result= (char*) palloc(column->length+1);
memcpy(text_result, (char*) column->value, column->length);
text_result[column->length] ='\0';
valueDatum=CStringGetDatum((char*) text_result);
break;
/*以下是增加的代码*/caseDATEOID:
caseTIMESTAMPOID:
caseTIMESTAMPTZOID:
text_result= (char*) palloc(column->length+1);
memcpy(text_result, (char*) column->value, column->length);
text_result[column->length] ='\0';
if(strstr(text_result, "0000-"))
            {
memcpy(text_result, "0001-01-01", strlen("0001-01-01"));
            }
valueDatum=CStringGetDatum((char*) text_result);
break;
default:
valueDatum=CStringGetDatum((char* ) column->value);
    }
value_datum=OidFunctionCall3(typeinput, valueDatum,
ObjectIdGetDatum(pgtyp),
Int32GetDatum(pgtypmod));
if (text_result)
pfree(text_result);
returnvalue_datum;
}
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
18
分享
相关文章
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
268 43
MySQL底层概述—4.InnoDB数据文件
本文介绍了InnoDB表空间文件结构及其组成部分,包括表空间、段、区、页和行。表空间是最高逻辑层,包含多个段;段由若干个区组成,每个区包含64个连续的页,页用于存储多条行记录。文章还详细解析了Page结构,分为通用部分(文件头与文件尾)、数据记录部分和页目录部分。此外,文中探讨了行记录格式,包括四种行格式(Redundant、Compact、Dynamic和Compressed),重点介绍了Compact行记录格式及其溢出机制。最后,文章解释了不同行格式的特点及应用场景,帮助理解InnoDB存储引擎的工作原理。
MySQL底层概述—4.InnoDB数据文件
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
51 9
MySQL和SQLSugar百万条数据查询分页优化
在面对百万条数据的查询时,优化MySQL和SQLSugar的分页性能是非常重要的。通过合理使用索引、调整查询语句、使用缓存以及采用高效的分页策略,可以显著提高查询效率。本文介绍的技巧和方法,可以为开发人员在数据处理和查询优化中提供有效的指导,提升系统的性能和用户体验。掌握这些技巧后,您可以在处理海量数据时更加游刃有余。
113 9
MySQL进阶突击系列(09)数据磁盘存储模型 | 一行数据怎么存?
文中详细介绍了MySQL数据库中一行数据在磁盘上的存储机制,包括表空间、段、区、页和行的具体结构,以及如何设计和优化行数据存储以提高性能。
【YashanDB 知识库】MySQL 迁移至崖山 char 类型数据自动补空格问题
问题分类】功能使用 【关键字】char,char(1) 【问题描述】MySQL 迁移至崖山环境,字段类型源端和目标端都为 char(2),但应用存储的数据为'0'、'1',此时崖山查询该表字段时会自动补充空格 【问题原因分析】mysql 有 sql_mode 控制,检查是否启用了 PAD_CHAR_TO_FULL_LENGTH SQL 模式。如果启用了这个模式,MySQL 才会保留 CHAR 类型字段的尾随空格,默认没有启动。 #查看sql_mode mysql> SHOW VARIABLES LIKE 'sql_mode'; 【解决/规避方法】与应用确认存储的数据,正确定义数据
mysql中单独获取已知日期的年月日其中之一
通过上述内容,您应该能够更好地在MySQL中处理和提取日期和时间信息,以满足各种业务需求。
58 5

推荐镜像

更多