乱码问题原因及解决

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 乱码问题简单说就是数据库写入读取,网页文件,网页显示时几个环节的编码不一致造成的。乱码问题写入时:页面提取写入数据编码和写入数据库时编码不一致读取时:读取后所用编码与数据库写入时不一致显示时:编码与数据库读取后的数据不一致很显然只有三者都统一才行:(以utf-8为例)1:页面提交数据编码...

乱码问题简单说就是数据库写入读取,网页文件,网页显示时几个环节的编码不一致造成的。

乱码问题
写入时:页面提取写入数据编码和写入数据库时编码不一致
读取时:读取后所用编码与数据库写入时不一致
显示时:编码与数据库读取后的数据不一致

很显然只有三者都统一才行:(以utf-8为例)
1:页面提交数据编码utf-8(这也可以算是显示页面编码),
2:数据库写入时编码:alter database db default character set ‘utf8’collate ‘utf8-general-ci’,
3:数据库读取时所用编码:mysql_query(“set names ‘utf8’”);
4:显示页面编码:<meta http-equiv="Content-type"content=“text/html, charset=utf-8”>

5:转码函数:icovn('gbk','utf-8',"我是中国人")//从gbk转换成utf8

本文的核心就是第一句话,明白了乱码问题就解决了!!!!!!!!! 

 

最近工作遇到的一个问题:

 

一、实验:
1、情况一
数据库字段字符集:utf-8
连接字符集:没有显式设置,默认为latin1
页面字符集:gbk

存入过程:
1)页面用GBK表示的SQL向服务器提交存入请求;
2)默认情况下(不用Set Names ‘??’)服务器用latin1打开连接;
3)服务器误认为当前的SQL语句是用latin1表示的;
4)服务器将GBK字符当作latin1字符,错误的运用“latin1转UTF-8函数”将字符转换后存入UTF-8字段中;
5)( 错误的latin1(其实是GBK) => 错误的UTF-8)
6)如果用phpmyadmin打开该表(用utf8连接)将会看到该字段为乱码;

读取过程:
1)默认情况下(不用Set Names ‘??’)服务器用latin1打开连接;
2)服务器将UTF-8字段中的值转换为latin1返回给客户端;
3)(错误的UTF-8 => 错误的latin1(其实是GBK))该过程为存入过程5的逆过程。(刚好错错得对了)
4)将服务器误认为是latin1的GBK编码按页面字符集正常显示;

用示意图来表示就是:

  1. 存入过程:
  2. ----------------------
  3. 页面    连接     存储
  4. ----------------------
  5. GBK =&gt; latin1 =&gt; utf-8
  6. ---------------
  7. ------------- |
  8. |       +------- 该过程得到的utf-8是一串不知所云的乱码,但MySQL固执的认为这串码为UTF-8
  9. |
  10. +------ MySQL将GBK误认为是latin1
  11. 读取过程:
  12. ----------------------
  13. 页面    连接     存储
  14. ----------------------
  15. GBK &lt;= latin1 &lt;= utf-8
  16. ---------------
  17. ------------- |
  18. |       +------- 正是这串乱码经过逆过程转换回正确的GBK编码,只是MySQL认为是latin1而已
  19. |
  20. +------ MySQL将误认为是latin1的GBK编码传回了页面,刚好得到正确的编码。
  21. 2、情况二
  22. 数据库字段字符集:utf-8
  23. 连接字符集:gbk
  24. 页面字符集:gbk
  25. 文字描述略。

示意图:

  1. 存入过程:
  2. ----------------------
  3. 页面   连接   存储
  4. ----------------------
  5. GBK =&gt; GBK =&gt; utf-8
  6. ------------
  7. ------------- |
  8. |       +------- 该过程得到的utf-8是由GBK转换而来的,是正确的utf-8编码
  9. |
  10. +------ 页面字符集等于连接字符集,MySQL认为页面传递给它的是GBK编码,它的想法正好符合事实。
  11. 读取过程:
  12. ----------------------
  13. 页面   连接   存储
  14. ----------------------
  15. GBK &lt;= GBK &lt;= utf-8
  16. ---------------
  17. ------------- |
  18. |       +------- 用“utf-8转GBK函数”将正确的utf-8编码转换回GBK
  19. |
  20. +------ 页面字符集等于连接字符集,显示没有任何问题。
  21. 3、情况三
  22. 数据库字段字符集:gbk
  23. 连接字符集:没有显式设置,默认为latin1
  24. 页面字符集:gbk
  1. 存入过程:
  2. ----------------------
  3. 页面   连接   存储
  4. ----------------------
  5. GBK =&gt; latin1 =&gt; GBK
  6. ------------
  7. ------------- |
  8. |       +------- 字符被“latin1转GBK函数”转换的成了乱码,但MySQL认为它是GBK,所以工具无法正常显示。
  9. |
  10. +------ MySQL认为页面传递给它的是latin1编码,它将在后续过程中画蛇添足地将正确的GBK转换为乱码。
  11. 读取过程:
  12. ----------------------
  13. 页面   连接   存储
  14. ----------------------
  15. GBK &lt;= latin1 &lt;= GBK
  16. ---------------
  17. ------------- |
  18. |       +------- “GBK转latin1函数”将乱码转换为GBK,但MySQL却认为它们是latin1
  19. |
  20. +------ 错误的latin1编码其实是正确的GBK编码,页面显示正常,但工具显示不正常。

二、字符集之间的转换
笔者试着将GBK字符误当作latin1转换为错误的utf-8能成功,逆过程中将乱码转换回latin1得到的刚好是正确的GBK。

  1. $str = "中文测试";
  2. $str_tran = iconv('latin1', 'utf-8', $str);
  3. echo $str_tran; // 显示乱码,既不是GBK也不是utf-8和latin1
  4. echo "&lt;br&gt;-----------&lt;br&gt;";
  5. $str_re_tran = iconv('utf-8', 'latin1', $str_tran);
  6. echo $str_re_tran;  // 显示 “中文测试”

而将GBK字符误当作utf-8转换为错误的GBK编码则出现错误

  1. $str = "中文测试";
  2. #$str_tran = iconv('utf-8', 'gbk', $str);    // 错误!!!

可见一种编码是否能被当作另一种编码被转换为第三种编码,取决于编码的固有属性,上面我们举的第一个例子只是碰巧GBK编码能被误当作latin1被转换为utf-8。如果是如下情况,则数据库肯定不能正常存取数据。

先说一下教训,建立数据库的时候,同一个应用,所有的编码一定要一致,不然就是自寻烦恼。

搞了半天用iconv转换后还是不行。(在Windows下开启iconv只需要把php.ini里面的;extension=php_mbstring.dll前面的“;”去掉即可。网上查了下。很多都说要开启;extension=php_iconv.dll这个东东,但下了几个版本的PHP都没有看到有这一行,估计是老版本才需要这么干吧?)

最后找到一个工具,可以实现latin1<->gbk,gbk<->utf8,gbk<->big5,的编码的相互转换,程序可以进行多次转换即可以实现latin1->gbk->utf8等的转换,但是不能跳跃转换(例:latin1不能直接转换成utf8)。

还不错,转过来没有乱码,终于解决问题。

另外提一下备份数据库工具:帝国数据备份王(Empirebak)。一款开源免费、专门为MYSQL大数据的备份与导入而设计的稳定高效软件,系统采用分卷备份与导入,理论上可备份任何大小的数据库。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6月前
|
Java Spring
中文乱码处理
中文乱码处理
78 0
|
存储
为什么会有中文乱码?
为什么会有中文乱码?
109 0
中文乱码
中文乱码
138 0
中文乱码
|
应用服务中间件 nginx Docker
中文乱码问题
中文乱码问题
157 0
Notepad++ 出现中文乱码 轻松解决
Notepad++ 出现中文乱码 轻松解决
2278 0
Notepad++ 出现中文乱码 轻松解决
|
存储 安全 关系型数据库
为什么编码不同会出现乱码?
本章节通过情景模拟,和大家一起探讨为什么编码不同会出现乱码
|
数据格式 XML .NET
|
关系型数据库 MySQL Java