Python字符编码

unicode对象用来表示字符。它不涉及字符的底层的二进制编码信息。

str对象是用来表示字符的二进制信息。一个unicode对象能够使用多种编码格式（如UTF8、GBK）编码（encode）成多个str对象。每一个str对象表示该字符串的一种二进制表达。多个不同的str对象能够解码成相等的unicode对象（表示字符串同样。但内存位置不同）。

unicode尽管不规定详细的二进制信息，但为了存放每一个字符的Code Point值，须要两个字节，所以说Python採用的是二进制编码（不知道这么理解可对？）。

假设编码不匹配，就会出现乱码或者报错。

以下运行一个str对象从utf8格式到gbk格式的转换：

>>> str="你好"
>>> str
'\xe4\xbd\xa0\xe5\xa5\xbd'         # 採用OS的utf8编码格式
>>> unicode=str.decode("utf8")     # 解码成Code Point值 
>>> unicode
u'\u4f60\u597d'
>>> str_gbk=unicode.encode("gbk")  # 将Code Point编码成GBK格式
>>> str_gbk
'\xc4\xe3\xba\xc3'

>>> unicode.encode()               # 假设编码不指定格式，将採用系统默认的编码格式进行编码。对于decode也一样。

这里因为ASCII不能对中文字符编码，所以出错了。 Traceback (most recent call last):   File "<stdin>", line 1, in <module> UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) >>> u = u"你好"     #前缀u自己主动把字符串从utf8转换成unicode格式了 u'\u4f60\u597d'

>>> file=open("test.txt", "a")
>>> file.write(str)
>>> file.write(str_gbk)
>>> file.write(unicode)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

这是为什么呢？

然后unicode对象表示的是字符串的Code Point值，是抽象的值，用来表示字符，是不能直接写入文件的。所以Python试图使用默认的编码格式ASCII。对unicode对象进行编码，然后将结果存入文件。可是因为ASCII不能对”你好”进行编码，所以报错了。

>>> import sys
>>> reload(sys)
<module 'sys' (built-in)>
>>> sys.setdefaultencoding("gbk")  #不建议这么用[2]

>>> str(unicode)      #使用默认GBK，对unicode("你好")进行编码，转成str对象
'\xc4\xe3\xba\xc3'
>>> unicode.encode()   #使用默认GBK。对unicode("你好")进行编码，转成str对象
'\xc4\xe3\xba\xc3'

>>> "你好".decode()    #由于系统使用UTF8，所以“你好”是UTF8格式的字节串，使用默认GBK对该字节串进行解码，尽管成功执行了，但其结果是不对的。

所以我们须要保证字节串用什么格式编码的。就要用什么格式解码。 u'\u6d63\u72b2\u30bd'