编码问题在 Python 中一直是个巨坑。关于 Python 2 的编码问题，之前写过一篇文章：
在 Python 3 中，编码问题得到了改进，str 类型直接使用 unicode 进行存储，不带有编码。但真的就一劳永逸了吗？事实上，虽然填上了一些坑，但也会带来新的坑。尤其结合 Windows 使用，那酸爽……真是谁用谁知道😂。
Crossin编程教室的 WooDumpling 同学在学习中做了一点总结，分享 Python 3 的学习者。
相关概念
bytes unicode str
encode decode
- bytes
相当于Python2中的str类型，从网页上抓取下来的数据流也是该类型的
在Python3中，要得到一个byte类型的变量，可以在字符串内容前面加入b得到，但前提是该字符串的内容是可以完全由ascii码表示的，否则会出现语法错误
>>>s1 = "你好" >>>s1 '你好' >>>type(s1) <class 'str'> >>>s2 = b'你好' >>> File "<stdin>", line 1 SyntaxError: bytes can only contain ASCII literal characters. >>>s2 = b'abc' >>>s2 b'abc' >>>type(s2) <class 'bytes'>
- unicode
unicode为解决传统字符编码的局限性而产生，为每一种语言的每一个字符设置了统一且唯一的二进制码，Python内部用于记录的也是该编码方式
上面的例子中s1就是通过unicode码来进行存储的
- str
在Python3中的str类型对应的就是Python2中的unicode类型，即以统一的unicode码保存。而且，在Python3中，程序中所设置的字符串即直接保存为统一的str类型（unicode）
上面的例子中s1就是str类型的变量
- encode与decode
由于存在着这两种不同的类型，势必要牵涉到二者的互相转化。bytes通过某一种编码方式（encode）得到str，而str通过某一种解码方式（decode）得到bytes
问题：为何会出现乱码的情况
unicode是表示了世界上所有的字符的, 但是其内部的存储是以二进制位存储的，比如你好的unicode编码为\u4f60\u597d
但是我们所见到的并不是\u4f60\u597d这一串编码，而是你好这两个汉字
这是由于控制台环境本身提供一个编码方式，比如uft-8，gbk，cp936等，通过这些编码方式，unicode码就转换成了我们可识别的字符了
但是，不同的编码方式之间是存在区别的，当得到一个通过A方式编码得到的bytes类型，如果用B方式去进行解码的话，它就会按照B的标准去解读，那样就会出现乱码的现象
s = "你好" print(s) s1 = s.encode("utf-8").decode("gbk") print(s1) # output # 你好 # 浣犲ソ
因此，开发的时候要弄清楚输入来源的编码以及输出环境的编码，尽可能保证一致性，或者做好转换的工作，可以减少出现乱码的可能性
问题：如何获取编码方式的信息？
- 获取目标bytes的编码方式
这一情况可以通过chardet模块的detect()函数来获取信息，chardet是第三方库，可以通过pip来安装
# b是待检测的bytes变量 import chardet print(chardet.detect(b)) # output # {'confidence': 1.0, 'encoding': 'ascii'}
confidence是指匹配程度，encoding是指可能的编码方式
- 获取当前环境的编码方式
这一情况可以使用sys模块下的getdefaultencoding()函数来获取信息
import sys print(sys.getdefaultencoding()) # output # utf-8
问题：在控制台上看到的到底是什么？
写上面的东西的时候产生了一个疑问，现在已经知道Python内部存储str的方式是使用unicode字符集，但是我们在屏幕上看到的并不是unicode字符集
s = "你好" print(s) # output # 你好 # s's unicode is \u4f60\u597d
那么，这中间应该是进行了某种转换
实际上，在执行print(str)的时候，python内部执行了encoding操作，控制台拿到的其实是一个bytes变量
之后，控制台又根据环境内部的编码方式，将所得到的bytes内容进行decoding的操作，就显示了原先str的内容
近期文章推荐阅读：
