【YashanDB 知识库】如何处理报错"UDT column batch insert" has not been implemented yet

简介: **简介:**YashanDB 的 ST_GEOMETRY 类型用于存储符合 OGC 标准的几何对象。但在批量插入时,由于 UDT 不支持批量插入,会报错 YAS-00004。此问题影响 23.2.7.100 及以下版本,导致 ST_GEOMETRY 数据导入失败。解决方法包括使用 YMP 迁移数据或通过转换为 CLOB 字段再导入并转换回 ST_GEOMETRY。崖山团队正在开发对 UDT 批量插入的支持。

问题现象

YashanDB 中的 ST_GEOMETRY 类型是数据库内置的一种自定义类型,用于存储和访问符合开放地理空间信息联盟(Open Geospatial Consortium,简称 OGC)制定的 SFA SQL 标准的几何对象。详细可查看 ST_GEOMETRY | YashanDB Doc

在批量插入(例如 insert into select 或使用 yasldr 导入数据)的时候, 如果表有 ST_GEOMETRY 类型的字段, 则会报错 YAS-00004 feature "UDT column batch insert" has not been implemented yet

10.jpeg

问题的风险及影响

影响 ST_GEOMETRY 类型的数据导入

问题影响的版本

YashanDB 版本:23.2.7.100 及以下

解决方法及规避方式

问题的原因

YashanDB 的 GIS 功能是通过 UDT 实现的,目前用户自定义类型 UDT 还不支持批量插入。在表存在 GEO 相关字段的时候,即使插入的字段不包含 GEO 的字段,但是存储每一行都会预留相应的字段空间,因此也会失败。

解决办法

1、普通迁移数据可以使用 YMP 解决

源端是 YashanDB,表字段是 ST_GEOMETRY 类型的,可以通过 YMP 迁移数据到目标端 YashanDB。详见 YMP 使用指导 快速开始 | YashanDB Doc

2、在单表数据量小,想通过 SQL 命令快速迁移,可以使用如下方法规避实现:

举例,如 CREATE TABLE t1(id INT, pos ST_GEOMETRY); 需要将 T1 的数据导出到目标库

1)在源库表将 geo 字段转成 clob(转换函数 st_astext),通过 exp 导出

exp --csv -f csv -u user -p passwd --server-host 127.0.0.0.1:1688 -q 'SELECT id,ST_ASTEXT(pos) from t1'

2)在目标库建立临时表, 上传步骤 1)导出的数据 t1.outfile 将数据通过 yasldr 导入 clob 字段

CREATE TABLE t2(id INT, pos_str clob);

[yashan@localhost ~]$ cat t2.load.template

LOAD DATA OPTIONS(DEGREE_OF_PARALLELISM=8,STATS=TRUE)

INFILE '/home/yashan/t1.outfile' WITH EMBEDDED FIELDS TERMINATED BY '|' OPTIONALLY ENCLOSED BY '"'

APPEND INTO TABLE t2 trailing nullcols("ID","POS_STR")

yasldr user/passwd@127.0.0.0.1:1688 batch_size=4032 control_file=/home/yashan/t2.load.template

检查导入数据成功

3)通过 ST_GEOMFROMTEXT 转换成 ST_GEOMETRY 类型

alter table t2 add "POS" "MDSYS"."ST_GEOMETRY";

update t2 set pos = st_geomfromtext(POS_STR);

alter table t2 drop POS_STR;

4)小结

通过上述的步骤方法将 ST_GEOMETRY 类型转换成 CLOB,再导入到目标表之后通过 ST_GEOMFROMTEXT 转换回来,在现有工具下即可实现对 ST_GEOMETRY 类型的搬迁。

特别需要注意的是,在目标库同样建立表的时候,同时带 clob、ST_GEOMETRY 类型,通过 yasldr 或 insert into select 仅导入 clob 字段(insert 列不带 ST_GEOMETRY 字段),会失败,需要建表的时候不带 ST_GEOMETRY 字段,在导入数据之后再添加字段,通过 update 更新 ST_GEOMETRY 字段(从 clob 字段转换数据回来)。

在崖山团队目前已经在实现 UDT 字段支持批量插入,insert into select/yasldr/exp/imp 后续均可以支持 UDT 字段,敬请留意后续版本。

相关文章
|
8月前
|
SQL 存储 关系型数据库
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
|
7月前
|
SQL 测试技术 数据库
【YashanDB知识库】IMP跨网络导入慢问题
问题现象:290M数据,本地导入2分钟,跨机导入耗时显著增加(最高30分钟)。 原因分析:`imp`逐条SQL通过网络传输至yashanDB执行,交互频繁导致性能下降。 影响版本:客户测试环境22.2.8.3。 解决方法:将导入文件上传至与yashanDB同机后使用`imp`,减少网络延迟。 经验总结:优化`imp`工具,支持直接上传文件至服务器端执行,降低网络依赖。
|
7月前
|
监控 数据库
【YashanDB 知识库】ycm 托管数据库时报错 OM host ip:127.0.0.1 is not support join to YCM
在托管数据库时,若 OM 的 IP 被设置为 127.0.0.1,将导致无法托管至 YCM,并使数据库失去监控。此问题源于安装时修改了 OM 的监听 IP。解决方法包括:将 OM 的 IP 修改为本机实际 IP 或 0.0.0.0,同时更新 env 文件及 yasom 后台数据库中的相关配置。经验总结指出,应避免非必要的后台 IP 修改,且数据库安装需遵循规范,不使用仅限本机访问的 IP(如 127.0.0.1)。
|
7月前
|
监控 网络安全 数据库
YashanDB 知识库:ycm 纳管主机安装 YCM-AGENT 时报错 “任务提交失败,无法连接主机”
在安装 ycm-agent 纳管主机时,可能出现因端口未开放导致的报错问题。此问题会阻止 YCM 对主机和数据库的监控功能,影响版本为 `yashandb-cloud-manager-23.2.1.100-linux-aarch64.tar`。原因是目标主机(如 10.149.223.121)未开放 9070 或 9071 端口。解决方法包括关闭防火墙、添加白名单或开放指定端口,需与管理员确认操作。处理过程涉及网络检查、端口测试等步骤。端口问题解决后,若再次安装报唯一键错误,需先移除失败主机再重试。
|
7月前
|
监控 Java Shell
【YashanDB 知识库】ycm 托管数据库时,数据库非 OM 安装无法托管
本文主要介绍了因数据库未按规范使用 yasboot 安装导致的问题及解决方法。问题表现为无 yasom 和 yasagent 进程,且目录结构缺失,致使 ycm 无法托管与监控。分析发现可能是数据库版本旧或安装不规范引起。解决方法为先生成配置文件,安装 yasom 和 yasagent,再生成并修改托管配置模板,最终通过命令完成托管至 yasom 和 ycm。总结强调了按规范安装数据库的重要性以避免类似问题。
|
8月前
|
SQL 关系型数据库 MySQL
【YashanDB知识库】MySQL field 函数的改写方法
【YashanDB知识库】MySQL field 函数的改写方法
|
8月前
|
数据库
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
|
8月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
|
8月前
|
SQL 关系型数据库 PostgreSQL
【YashanDB 知识库】从 PostgreSQL 迁移到 YashanDB 如何进行数据行数比对
【YashanDB 知识库】从 PostgreSQL 迁移到 YashanDB 如何进行数据行数比对
|
8月前
|
SQL 关系型数据库 MySQL
【YashanDB 知识库】YashanDB 支持 MySQL 多表更新语句的解决方法
【YashanDB 知识库】YashanDB 支持 MySQL 多表更新语句的解决方法