Bytes型数据decode时是如何知道要把几位数据组合在一起的？

摄影：产品经理产品经理希望吃肉吃虾，我喜欢豌豆尖

大家在开发 Python 的过程中，经常会进行字符串encode为 Bytes型数据，或者把 Bytes 型数据 decode为字符串的操作。例如：

我们知道，在 Unicode 编码中，中文占3个字节，所以一个中文字符编码为 Bytes 型数据以后，会占用3个 Bytes 字符，例如：

>>> a = '青'
>>> a.encode()
b'\xe9\x9d\x92'
>>> b = '青南'
>>> b.encode()
b'\xe9\x9d\x92\xe5\x8d\x97'

注意这里的\xe9需要作为整体来看待，表示一个16进制数。

所以，当我要把 Bytes 型数据\xe9\x9d\x92\xe5\x8d\x97 转为字符串时，Python 会把\xe9\x9d\x92转成青字，把\xe5\x8d\x97转成南字，看起来，似乎是 Python 知道应该把每3个 Bytes 符号一组来进行处理。

然而，Unicode 中，emoji 表情是4个字节，例如表情符号：🤔，它对应的 Bytes 型数据为：\xf0\x9f\xa4\x94，如下图所示：

如果我把青🤔南转换为 Bytes 型数据，值为：\xe9\x9d\x92\xf0\x9f\xa4\x94\xe5\x8d\x97，如下图所示，一共10个 Bytes 字符：

那么问题来了，当我对这个 Bytes 型数据进行 decode 的时候会怎么样呢？如下图所示：

Python 可以正确地把 Bytes 数据划分为：

\xe9\x9d\x92   对应“青”
\xf0\x9f\xa4\x94  对应“🤔”
\xe5\x8d\x97   对应“南”

为什么 Python 知道要把\xf0\x9f\xa4\x94这4个符号分到一组？为什么不会像下面这样分组？

\xe9\x9d\x92
\xf0\x9f\xa4
\x94\xe5\x8d\x97

实际上，这个问题的原因，只有当我们用二进制来看的时候，才能发现端倪。

青对应的第一个 Bytes 字符\xe9，其中的e9是一个十六进制数字，把它转成十进制是233，转成二进制是11101001。

南对应的第一个 Bytes 字符\xe5，其中的e5是一个十六进制数字，把它转成十进制是229，转成二进制是11100101。

🤔对应的第一个 Bytes 字符\xf0，其中的f0是一个十六进制数字，把它转成十进制是240，转成二进制是11110000。

如果还看不出他们的差异，那我们把他们放在一起对比一下：

11101001
11100101
11110000

看出差异了吗？中文汉字是三个字节，转换为 Bytes 型数据以后，第一个字符对应的二进制数是1110开头。emoji 是4个字节，转换为 Bytes 型数据以后，第一个字符对应的二进制数是1111开头。

所以，当给定一个 Bytes 型数据需要给 Python 来转换为字符串的时候，Python 是这样判断应该有几个字符一组的。

1. 给定 Bytes 型数据：\xe9\x9d\x92\xf0\x9f\xa4\x94\xe5\x8d\x97
2. 看第一个字符对应的二进制数的高4位是1110，所以当前字符和它后面两个字符（合计3个字符）一组，进行解析，得到青字。
3. 跳过已经解析的字符，直接来到第四位\xf0，发现它对应的二进制数高4位是1111，所以这个字符和接下来3个字符（合计4个字符）一组，解析出🤔。
4. 跳过已经解析的字符，来到第8位\xe5，对应的二进制高4位是1110，因此这个字符和接下来的两个字符一组进行解析，得到南。
5. 完成。

对于数字和英文字母，在 Unicode 里面只使用一个字节来表示，他们的 Ascii 码小于128。而多字节的 Unicode 字符，都是从129开头的，所以英文字母数字与中文混合生成的 Bytes 型数据，在解码的时候也不会出现分组不明确的问题。