编码小结

简介: 编码问题

    在计算机中,信息最终以二进制的字符串表示,编码,即将每个字符表示为一个二进制序列,反正,将每个二进制序列还原为一个字符,称之为解码。

在ASCII编码中,每个符号被编码成8位的二进制序列,比如字母A表示为01000001。但是,各个国家和地区使用的字符也不一样,字符集大小也不一样,比如,汉字多达10万中,一个字节根本不能表示,于是各个国家和地区产生了自己的编码标准,如GBK2312,BIG5等等。但是新的问题来了,不同的编码中,用一个二进制序列可能被解释成不同的字符,比如文件用一种编码所写,却用另一种编码打开,这就造成了乱码,如果有一种编码,把世界上所有的字符都进行了编码,任何一个字符只有一个二进制代码与其一一对应,那么就解决了乱码的问题,UNICODE编码便采用了这种思想。

但是UNICODE只规定了每个符号的二进制代码,没有规定这个二进制代码如何存储。例如,一些字符对应的二进制代码只需1个字节便可表示,比如英文字母,有些更大的字符可能需要2个字节存储,那么当遇到占2个字节的二进制代码时,如何判断它是两个字母还是一个字符呢,另外如果都已所有字符对应的二进制代码都已4个字节来表示,那么太浪费空间了。

于是一些UNICODE编码的实现出现了,比如UTF-8、UTF-16、UTF-32,其中UTF-8采用了变长的编码方式,根据制定的转换规则,将每个字符对应的二进制代码,转换成不同长度的字节序列存储起来。给定一个具体的字节序列,必然能够知道其对应的UNICODE二进制代码,也就知道了其表示哪个字符。(未完)

目录
相关文章
|
JavaScript 数据安全/隐私保护
41 # 编码的问题
41 # 编码的问题
73 0
|
存储 数据库
编码集的作用是什么?常见的编码集有什么?为什么常用utf-8?
编码集的作用是什么?常见的编码集有什么?为什么常用utf-8?
114 0
|
4月前
|
存储
编码
编码。
80 7
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
编码和解码的未来之路
编码和解码的未来之路
|
存储 Java 数据安全/隐私保护
什么是编码和解码
什么是编码和解码
475 0
|
XML 存储 JSON
Base64编码理解与实现(编码图片)
Base64是一种数据编码方式,目的是让数据符合传输协议的要求。 在项目中,将报文进行压缩、加密后,最后一步必然是使用base64编码,因为base64编码的字符串,更适合不同平台、不同语言的传输
358 0
|
机器学习/深度学习 算法 索引
关于Onehot编码的总结
关于Onehot编码的总结
625 0
关于Onehot编码的总结