字符编码导致Rapidjson(腾讯开源的json解析库)到Fastjson(阿里开发的Java json解析库)转换失败的原因分析

简介: 最近在客户端的开发的过程中,使用到了RapidJson,公司的开发是客户端和数据库端都由不同的人进行开发,我负责的客户端的逻辑开发(使用c++),开发工具同时使用了VS2017和QT的编译环境,使用QT主要是为了客户端界面开发方便,而使用了VS环境主要是维护公司开发的数据库接口库,这个库的唯一作用就是作为一个中间桥梁,使用Rapidjson将数据库接口的json数据格式解析为结构体数据,从而在客户端界面进行展示,或者接收客户端的数据,使用Rapidjson将其转换为json数据,发送给数据库接口以保存数据使用 。不太明白的可以参考我上一篇文章说明Rapidjson的使用过程-Parse解析数组

开发环境说明

最近在客户端的开发的过程中,使用到了RapidJson,公司的开发是客户端和数据库端都由不同的人进行开发,我负责的客户端的逻辑开发(使用c++),开发工具同时使用了VS2017和QT的编译环境,使用QT主要是为了客户端界面开发方便,而使用了VS环境主要是维护公司开发的数据库接口库,这个库的唯一作用就是作为一个中间桥梁,使用Rapidjson将数据库接口的json数据格式解析为结构体数据,从而在客户端界面进行展示,或者接收客户端的数据,使用Rapidjson将其转换为json数据,发送给数据库接口以保存数据使用 。不太明白的可以参考我上一篇文章说明Rapidjson的使用过程-Parse解析数组遇到的问题,附自己的解决方式。


问题说明及其截图

在日常的开发中,一般使用http进行数据传输,都是使用UTF-8进行编码,然而在我们使用C++开发时,很多时候选择了GBK或者GB2312的编码格式进行开发,这样就会由于编码的不一致性,导致很多奇奇怪怪的问题,我这里出现的问题,就是将JSON数据传输给服务器端的时候,服务器端抛出了如下图的问题

e1717cf1364ef430bf8eced31f648dbd_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiY2Q1NTIxOTE4Njg=,size_16,color_FFFFFF,t_70#pic_center.png

只要有点java基础的人都知道,这个问题就是fastjson解析json时抛出异常,这个时候一般格式问题导致的情况居多,然而通过测试发现,输入纯英文的时候,不会抛出异常,一旦在客户端输入中文的时候,就会导致这一异常情况的发生,这时候,不用多想,肯定是编码不一致导致的问题了。我这里是从客户端输入数据(QT环境)-到库(VS2017环境)-到数据库接口(intellij idea),所以只要保证库到数据库接口环境使用UTF-8就可以了,然而在开发中,也要注意从QT到VS环境时,编码的问题,否则可能出现数据能保存成功,但是却出现乱码的情况。对编码有兴趣的同学可以查阅相关资料,这里只是记录自己在使用RapidJson遇到的问题记录下来。

首先是QT端的代码到库代码的部分截图

8fd0b0f26c5eb0e3332c3fd117d14983_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiY2Q1NTIxOTE4Njg=,size_16,color_FFFFFF,t_70#pic_center.png

这里我们使用的结构体的字符参数是char数组,不是c++标准库的string,首先将页面的字符数据(QString)使用toLocal8Bit()(这里不能使用toUtf8(),因为还要经过一次库的转化,否则这里就转化为UTF8编码格式,到库的环境又变成GBK的编码格式了,这里有点混乱,可以将数据存到数据库,但是存储的数据却是乱码)函数将其拷贝到结构体中,传给库使用,以下截图是库的代码截图


上图画红线部分时将其客户端传来的字符数组参数先转换为UTF-8编码的格式,然后在通过RapidJson将其数据传送给服务器端,这样就不会出现第一张图的异常了。转换函数为以下代码:

void CEncodingTools::ConvertGBToUTF8(const char* pcGBString, char* pcUTF8String, int nUTF8BuffSize)
{
  // GB2312转换成UTF-8 
  int nWideSize = MultiByteToWideChar(CP_ACP, 0, pcGBString, -1, NULL, 0);  
  WCHAR* wstrSrc = new WCHAR[nWideSize + 1];  
  MultiByteToWideChar(CP_ACP, 0, pcGBString, -1, wstrSrc, nWideSize + 1);   
  WideCharToMultiByte(CP_UTF8, 0, wstrSrc, -1, pcUTF8String, nUTF8BuffSize, NULL, NULL);  
  delete[] wstrSrc;
}


结论

PS: 一个小小的bug,写了这么多,难免有点啰嗦,主要是自己经验太少,花了好几个小时才解决了,只要记住,客户端和服务器端在数据传输的过程中,只要保证传输的格式为UTF-8格式即可,相信每次的小问题,通过自己的积累都会使得自己更加强大。


相关文章
|
5天前
|
IDE Java 数据库连接
使用 Java 进行桌面应用开发
【4月更文挑战第19天】Java 是一款广泛应用于企业级、网络和桌面应用开发的编程语言。其跨平台特性使Java程序能在不同操作系统上运行,而JDK提供了开发所需工具和库。使用Swing等GUI库构建用户界面,结合JDBC进行数据库操作,Socket实现网络通信。虽然面临性能和用户体验的挑战,但通过优化和选用合适的IDE,Java仍能开发出高效稳定的桌面应用。
|
6天前
|
前端开发 Java Go
开发语言详解(python、java、Go(Golong)。。。。)
开发语言详解(python、java、Go(Golong)。。。。)
|
6天前
|
人工智能 前端开发 Java
Java语言开发的AI智慧导诊系统源码springboot+redis 3D互联网智导诊系统源码
智慧导诊解决盲目就诊问题,减轻分诊工作压力。降低挂错号比例,优化就诊流程,有效提高线上线下医疗机构接诊效率。可通过人体画像选择症状部位,了解对应病症信息和推荐就医科室。
109 10
|
6天前
|
Java 关系型数据库 MySQL
一套java+ spring boot与vue+ mysql技术开发的UWB高精度工厂人员定位全套系统源码有应用案例
UWB (ULTRA WIDE BAND, UWB) 技术是一种无线载波通讯技术,它不采用正弦载波,而是利用纳秒级的非正弦波窄脉冲传输数据,因此其所占的频谱范围很宽。一套UWB精确定位系统,最高定位精度可达10cm,具有高精度,高动态,高容量,低功耗的应用。
一套java+ spring boot与vue+ mysql技术开发的UWB高精度工厂人员定位全套系统源码有应用案例
|
8天前
|
Java API 数据库
深入解析:使用JPA进行Java对象关系映射的实践与应用
【4月更文挑战第17天】Java Persistence API (JPA) 是Java EE中的ORM规范,简化数据库操作,让开发者以面向对象方式处理数据,提高效率和代码可读性。它定义了Java对象与数据库表的映射,通过@Entity等注解标记实体类,如User类映射到users表。JPA提供持久化上下文和EntityManager,管理对象生命周期,支持Criteria API和JPQL进行数据库查询。同时,JPA包含事务管理功能,保证数据一致性。使用JPA能降低开发复杂性,但需根据项目需求灵活应用,结合框架如Spring Data JPA,进一步提升开发便捷性。
|
12天前
|
Java
Java 15 神秘登场:隐藏类解析未知领域
Java 15 神秘登场:隐藏类解析未知领域
16 0
|
12天前
|
安全 Java 编译器
接口之美,内部之妙:深入解析Java的接口与内部类
接口之美,内部之妙:深入解析Java的接口与内部类
35 0
接口之美,内部之妙:深入解析Java的接口与内部类
|
14天前
|
运维 NoSQL 算法
Java开发-深入理解Redis Cluster的工作原理
综上所述,Redis Cluster通过数据分片、节点发现、主从复制、数据迁移、故障检测和客户端路由等机制,实现了一个分布式的、高可用的Redis解决方案。它允许数据分布在多个节点上,提供了自动故障转移和读写分离的功能,适用于需要大规模、高性能、高可用性的应用场景。
16 0
|
14天前
|
Java
Java中关于ConditionObject的signal()方法的分析
Java中关于ConditionObject的signal()方法的分析
21 4
|
14天前
|
Java
Java中关于ConditionObject的分析
Java中关于ConditionObject的分析
18 3

推荐镜像

更多