【YashanDB知识库】GBK库,生僻字插入nvarchar2字段后乱码问题

简介: 【YashanDB知识库】GBK库,生僻字插入nvarchar2字段后乱码问题

本文内容来自YashanDB官网,原文内容请见 https://www.yashandb.com/newsinfo/7764083.html?templateId=1718516

问题现象

如下SQL,插入的人名中有两个GBK生僻字!image.pngimage.png

,GBK编码中没有这两个字符。

drop table t1;

create table t1(id int,c1 nvarchar2(128));

insert into t1 values (1,'xx林海');//生僻字显示不出来,用xx替换



drop table test061;

create table test061(c1 nvarchar2(1600));

insert into test061 values( '艳梅');

insert into test061 values( 'xx艳梅'); //生僻字显示不出来,用xx替换

插入后,客户端utf8编码,显示为乱码。用gbk和

image.png
image.png

问题的风险及影响

客户端和服务端编码不同,服务端是gbk时,gbk生僻字,插入不正常。

问题影响的版本

23.2.4.14及之前版本

问题发生原因

gbk生僻字,客户端转换数据为gbk编码时,生僻字转换失败,发送给服务端存储的数据缺失,导致显示问题。

解决方法及规避方式

1、终端是utf8,这样可以输入生僻字。yasql用gbk编码,同服务端编码一样,就不会转码。用insert语句发送,之后同样的编码能正常查询显示出数据。

2、使用yasdb client库接口,yacBindParameter接口提供了utf16编码插入数据方式。如下图所示,只要不是gbk编码就能正常显示生僻字:
image.png
image.png

问题分析和处理过程

分析过程:

客户端是utf8,服务端是gbk编码的情况。

1、服务端收到客户端的数据,如下图

C1D9 GBK(临) 193 217

BAA3 GBK(海) 186 163

3F 生僻字!image.png丢失 为63

2、insert时,yasdb中数据的字符

4E34 utf16(临)78 52

6D77 utf16( 海)109 119

3F

3、客户终端与客户端编码不同时,存储的数据是否有问题呢?如客户终端编码为utf8,yasql为gbk、yasdb为gbk。

nvarchar2类型, 服务端中会再做转换,这里就出现了这个问题。utf8的终端,gbk的yasql,gbk的服务器情况下,插入汉字后, 数据是utf8编码,但是当成gbk编码转换成utf16,导致存储的数据不对。

如下例:

drop table test061;

create table test061(c1 nvarchar2(1600));

insert into test061 values( '艳梅');

yasdb接收的数据:

image.png

yasql客户端同服务端编码相同,则不做转换,直接发送输入数据到服务端。所以下图显示的是utf8编码的'艳梅'数据

39 232 137 179 230 162 133 39 接收到的是utf8编码的 '艳梅'

yasdb存储的数据:

image.png
image.png

yasdb存放的就是上面的编码。0x79(121) 0x94(148) 0x46(107) 0xB8(134) ,存储的不是'艳梅'的utf16编码,而是'艳梅'utf8编码当成gbk编码转换后的utf16编码。

所以当终端是utf8时,yasql和yasdb是gbk时,存储在nvarchar2字段上的数据其实是错误的。所以如果数据要正确存储,yasql插入时,终端和yasql的编码必须相同。

结论:

所以在用yasql插入数据时,要保证终端与yasql的编码相同,否则数据可能存储的有问题。

经验总结

yasql编码转换过程:

1、yasql insert插入时,数据编码转换过程

输入的数据 (客户终端编码) →(转换)数据为 服务端编码(gbk)(如果yasql客户端同服务端编码相同,则不做转换,直接发送输入数据到服务端。) → 发送数据到服务端

服务端接收到数据后:nvarchar2类型,在服务端转换为utf16le编码。

2、yasql select查询时,数据编码转换过程

服务端(GBK) ->(发送数据) 客户端(UTF8) → (转换数据编码gbk->utf8)yasql客户端编码 → 终端同yasql客户端编码一致才能正常显示出来。

如果客户端是gbk,nvarchar2类型的编码转换:UTF16 → gbk

相关问题单

1、服务端gbk,nvarchar2插入gbk不识别的生僻字,插入后乱码问题

22.2.12.100 GBK库nvarchar列无法存放中文生僻字

2、服务端gbk,客户端utf8,exp导出报错转换失败,YAS-00218 string conversion failed

数据库使用GBK字符集,exp导出成csv报错

image.png

exp导出时,如上图,“世纪春城”前面两个空白字符不是空格,而是gbk的空白字,utf8编码没有这种空白字符,导致转换失败。

相关文章
|
1月前
|
SQL 存储 关系型数据库
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
|
14天前
|
SQL 测试技术 数据库
【YashanDB知识库】IMP跨网络导入慢问题
问题现象:290M数据,本地导入2分钟,跨机导入耗时显著增加(最高30分钟)。 原因分析:`imp`逐条SQL通过网络传输至yashanDB执行,交互频繁导致性能下降。 影响版本:客户测试环境22.2.8.3。 解决方法:将导入文件上传至与yashanDB同机后使用`imp`,减少网络延迟。 经验总结:优化`imp`工具,支持直接上传文件至服务器端执行,降低网络依赖。
|
14天前
|
监控 数据库
【YashanDB 知识库】ycm 托管数据库时报错 OM host ip:127.0.0.1 is not support join to YCM
在托管数据库时,若 OM 的 IP 被设置为 127.0.0.1,将导致无法托管至 YCM,并使数据库失去监控。此问题源于安装时修改了 OM 的监听 IP。解决方法包括:将 OM 的 IP 修改为本机实际 IP 或 0.0.0.0,同时更新 env 文件及 yasom 后台数据库中的相关配置。经验总结指出,应避免非必要的后台 IP 修改,且数据库安装需遵循规范,不使用仅限本机访问的 IP(如 127.0.0.1)。
|
14天前
|
监控 网络安全 数据库
YashanDB 知识库:ycm 纳管主机安装 YCM-AGENT 时报错 “任务提交失败,无法连接主机”
在安装 ycm-agent 纳管主机时,可能出现因端口未开放导致的报错问题。此问题会阻止 YCM 对主机和数据库的监控功能,影响版本为 `yashandb-cloud-manager-23.2.1.100-linux-aarch64.tar`。原因是目标主机(如 10.149.223.121)未开放 9070 或 9071 端口。解决方法包括关闭防火墙、添加白名单或开放指定端口,需与管理员确认操作。处理过程涉及网络检查、端口测试等步骤。端口问题解决后,若再次安装报唯一键错误,需先移除失败主机再重试。
|
14天前
|
监控 Java Shell
【YashanDB 知识库】ycm 托管数据库时,数据库非 OM 安装无法托管
本文主要介绍了因数据库未按规范使用 yasboot 安装导致的问题及解决方法。问题表现为无 yasom 和 yasagent 进程,且目录结构缺失,致使 ycm 无法托管与监控。分析发现可能是数据库版本旧或安装不规范引起。解决方法为先生成配置文件,安装 yasom 和 yasagent,再生成并修改托管配置模板,最终通过命令完成托管至 yasom 和 ycm。总结强调了按规范安装数据库的重要性以避免类似问题。
|
1月前
|
SQL 关系型数据库 MySQL
【YashanDB知识库】MySQL field 函数的改写方法
【YashanDB知识库】MySQL field 函数的改写方法
|
1月前
|
数据库
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
|
1月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
|
1月前
|
SQL 关系型数据库 PostgreSQL
【YashanDB 知识库】从 PostgreSQL 迁移到 YashanDB 如何进行数据行数比对
【YashanDB 知识库】从 PostgreSQL 迁移到 YashanDB 如何进行数据行数比对
|
1月前
|
SQL 关系型数据库 MySQL
【YashanDB 知识库】YashanDB 支持 MySQL 多表更新语句的解决方法
【YashanDB 知识库】YashanDB 支持 MySQL 多表更新语句的解决方法

热门文章

最新文章

下一篇
oss创建bucket