字符编码导致Rapidjson(腾讯开源的json解析库)到Fastjson(阿里开发的Java json解析库)转换失败的原因分析

简介: 最近在客户端的开发的过程中,使用到了RapidJson,公司的开发是客户端和数据库端都由不同的人进行开发,我负责的客户端的逻辑开发(使用c++),开发工具同时使用了VS2017和QT的编译环境,使用QT主要是为了客户端界面开发方便,而使用了VS环境主要是维护公司开发的数据库接口库,这个库的唯一作用就是作为一个中间桥梁,使用Rapidjson将数据库接口的json数据格式解析为结构体数据,从而在客户端界面进行展示,或者接收客户端的数据,使用Rapidjson将其转换为json数据,发送给数据库接口以保存数据使用 。不太明白的可以参考我上一篇文章说明Rapidjson的使用过程-Parse解析数组

开发环境说明

最近在客户端的开发的过程中,使用到了RapidJson,公司的开发是客户端和数据库端都由不同的人进行开发,我负责的客户端的逻辑开发(使用c++),开发工具同时使用了VS2017和QT的编译环境,使用QT主要是为了客户端界面开发方便,而使用了VS环境主要是维护公司开发的数据库接口库,这个库的唯一作用就是作为一个中间桥梁,使用Rapidjson将数据库接口的json数据格式解析为结构体数据,从而在客户端界面进行展示,或者接收客户端的数据,使用Rapidjson将其转换为json数据,发送给数据库接口以保存数据使用 。不太明白的可以参考我上一篇文章说明Rapidjson的使用过程-Parse解析数组遇到的问题,附自己的解决方式。


问题说明及其截图

在日常的开发中,一般使用http进行数据传输,都是使用UTF-8进行编码,然而在我们使用C++开发时,很多时候选择了GBK或者GB2312的编码格式进行开发,这样就会由于编码的不一致性,导致很多奇奇怪怪的问题,我这里出现的问题,就是将JSON数据传输给服务器端的时候,服务器端抛出了如下图的问题

e1717cf1364ef430bf8eced31f648dbd_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiY2Q1NTIxOTE4Njg=,size_16,color_FFFFFF,t_70#pic_center.png

只要有点java基础的人都知道,这个问题就是fastjson解析json时抛出异常,这个时候一般格式问题导致的情况居多,然而通过测试发现,输入纯英文的时候,不会抛出异常,一旦在客户端输入中文的时候,就会导致这一异常情况的发生,这时候,不用多想,肯定是编码不一致导致的问题了。我这里是从客户端输入数据(QT环境)-到库(VS2017环境)-到数据库接口(intellij idea),所以只要保证库到数据库接口环境使用UTF-8就可以了,然而在开发中,也要注意从QT到VS环境时,编码的问题,否则可能出现数据能保存成功,但是却出现乱码的情况。对编码有兴趣的同学可以查阅相关资料,这里只是记录自己在使用RapidJson遇到的问题记录下来。

首先是QT端的代码到库代码的部分截图

8fd0b0f26c5eb0e3332c3fd117d14983_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiY2Q1NTIxOTE4Njg=,size_16,color_FFFFFF,t_70#pic_center.png

这里我们使用的结构体的字符参数是char数组,不是c++标准库的string,首先将页面的字符数据(QString)使用toLocal8Bit()(这里不能使用toUtf8(),因为还要经过一次库的转化,否则这里就转化为UTF8编码格式,到库的环境又变成GBK的编码格式了,这里有点混乱,可以将数据存到数据库,但是存储的数据却是乱码)函数将其拷贝到结构体中,传给库使用,以下截图是库的代码截图


上图画红线部分时将其客户端传来的字符数组参数先转换为UTF-8编码的格式,然后在通过RapidJson将其数据传送给服务器端,这样就不会出现第一张图的异常了。转换函数为以下代码:

void CEncodingTools::ConvertGBToUTF8(const char* pcGBString, char* pcUTF8String, int nUTF8BuffSize)
{
  // GB2312转换成UTF-8 
  int nWideSize = MultiByteToWideChar(CP_ACP, 0, pcGBString, -1, NULL, 0);  
  WCHAR* wstrSrc = new WCHAR[nWideSize + 1];  
  MultiByteToWideChar(CP_ACP, 0, pcGBString, -1, wstrSrc, nWideSize + 1);   
  WideCharToMultiByte(CP_UTF8, 0, wstrSrc, -1, pcUTF8String, nUTF8BuffSize, NULL, NULL);  
  delete[] wstrSrc;
}


结论

PS: 一个小小的bug,写了这么多,难免有点啰嗦,主要是自己经验太少,花了好几个小时才解决了,只要记住,客户端和服务器端在数据传输的过程中,只要保证传输的格式为UTF-8格式即可,相信每次的小问题,通过自己的积累都会使得自己更加强大。


相关文章
|
12月前
|
JSON API 数据安全/隐私保护
深度分析淘宝卖家订单详情API接口,用json返回数据
淘宝卖家订单详情API(taobao.trade.fullinfo.get)是淘宝开放平台提供的重要接口,用于获取单个订单的完整信息,包括订单状态、买家信息、商品明细、支付与物流信息等,支撑订单管理、ERP对接及售后处理。需通过appkey、appsecret和session认证,并遵守调用频率与数据权限限制。本文详解其使用方法并附Python调用示例。
|
12月前
|
安全 Java 编译器
new出来的对象,不一定在堆上?聊聊Java虚拟机的优化技术:逃逸分析
逃逸分析是一种静态程序分析技术,用于判断对象的可见性与生命周期。它帮助即时编译器优化内存使用、降低同步开销。根据对象是否逃逸出方法或线程,分析结果分为未逃逸、方法逃逸和线程逃逸三种。基于分析结果,编译器可进行同步锁消除、标量替换和栈上分配等优化,从而提升程序性能。尽管逃逸分析计算复杂度较高,但其在热点代码中的应用为Java虚拟机带来了显著的优化效果。
369 4
|
10月前
|
JSON Java Go
【GoGin】(2)数据解析和绑定:结构体分析,包括JSON解析、form解析、URL解析,区分绑定的Bind方法
bind或bindXXX函数(后文中我们统一都叫bind函数)的作用就是将,以方便后续业务逻辑的处理。
527 3
|
10月前
|
存储 Java Go
【Java】(3)8种基本数据类型的分析、数据类型转换规则、转义字符的列举
牢记类型转换规则在脑海中将编译和运行两个阶段分开,这是两个不同的阶段,不要弄混!
405 2
|
10月前
|
Java Go 开发工具
【Java】(9)抽象类、接口、内部的运用与作用分析,枚举类型的使用
抽象类必须使用abstract修饰符来修饰,抽象方法也必须使用abstract修饰符来修饰,抽象方法不能有方法体。抽象类不能被实例化,无法使用new关键字来调用抽象类的构造器创建抽象类的实例。抽象类可以包含成员变量、方法(普通方法和抽象方法都可以)、构造器、初始化块、内部类(接 口、枚举)5种成分。抽象类的构造器不能用于创建实例,主要是用于被其子类调用。抽象类中不一定包含抽象方法,但是有抽象方法的类必定是抽象类abstract static不能同时修饰一个方法。
375 1
|
11月前
|
数据采集 存储 弹性计算
高并发Java爬虫的瓶颈分析与动态线程优化方案
高并发Java爬虫的瓶颈分析与动态线程优化方案
|
数据采集 搜索推荐 算法
Java 大视界 -- Java 大数据在智能教育学习社区用户互动分析与社区活跃度提升中的应用(274)
本文系统阐述 Java 大数据技术在智能教育学习社区中的深度应用,涵盖数据采集架构、核心分析算法、活跃度提升策略及前沿技术探索,为教育数字化转型提供完整技术解决方案。
|
机器学习/深度学习 安全 Java
Java 大视界 -- Java 大数据在智能金融反洗钱监测与交易异常分析中的应用(224)
本文探讨 Java 大数据在智能金融反洗钱监测与交易异常分析中的应用,介绍其在数据处理、机器学习建模、实战案例及安全隐私等方面的技术方案与挑战,展现 Java 在金融风控中的强大能力。
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
Java 数据库连接 API
互联网大厂校招 JAVA 工程师笔试题解析及常见考点分析
本文深入解析互联网大厂校招Java工程师笔试题,涵盖基础知识(数据类型、流程控制)、面向对象编程(类与对象、继承与多态)、数据结构与算法(数组、链表、排序算法)、异常处理、集合框架、Java 8+新特性(Lambda表达式、Stream API)、多线程与并发、IO与NIO、数据库操作(JDBC、ORM框架MyBatis)及Spring框架基础(IoC、DI、AOP)。通过技术方案讲解与实例演示,助你掌握核心考点,提升解题能力。
559 2

推荐镜像

更多
  • DNS