在计算机中,信息最终以二进制的字符串表示,编码,即将每个字符表示为一个二进制序列,反正,将每个二进制序列还原为一个字符,称之为解码。
在ASCII编码中,每个符号被编码成8位的二进制序列,比如字母A表示为01000001。但是,各个国家和地区使用的字符也不一样,字符集大小也不一样,比如,汉字多达10万中,一个字节根本不能表示,于是各个国家和地区产生了自己的编码标准,如GBK2312,BIG5等等。但是新的问题来了,不同的编码中,用一个二进制序列可能被解释成不同的字符,比如文件用一种编码所写,却用另一种编码打开,这就造成了乱码,如果有一种编码,把世界上所有的字符都进行了编码,任何一个字符只有一个二进制代码与其一一对应,那么就解决了乱码的问题,UNICODE编码便采用了这种思想。
但是UNICODE只规定了每个符号的二进制代码,没有规定这个二进制代码如何存储。例如,一些字符对应的二进制代码只需1个字节便可表示,比如英文字母,有些更大的字符可能需要2个字节存储,那么当遇到占2个字节的二进制代码时,如何判断它是两个字母还是一个字符呢,另外如果都已所有字符对应的二进制代码都已4个字节来表示,那么太浪费空间了。
于是一些UNICODE编码的实现出现了,比如UTF-8、UTF-16、UTF-32,其中UTF-8采用了变长的编码方式,根据制定的转换规则,将每个字符对应的二进制代码,转换成不同长度的字节序列存储起来。给定一个具体的字节序列,必然能够知道其对应的UNICODE二进制代码,也就知道了其表示哪个字符。(未完)