编码小结

简介: 编码问题

    在计算机中,信息最终以二进制的字符串表示,编码,即将每个字符表示为一个二进制序列,反正,将每个二进制序列还原为一个字符,称之为解码。

在ASCII编码中,每个符号被编码成8位的二进制序列,比如字母A表示为01000001。但是,各个国家和地区使用的字符也不一样,字符集大小也不一样,比如,汉字多达10万中,一个字节根本不能表示,于是各个国家和地区产生了自己的编码标准,如GBK2312,BIG5等等。但是新的问题来了,不同的编码中,用一个二进制序列可能被解释成不同的字符,比如文件用一种编码所写,却用另一种编码打开,这就造成了乱码,如果有一种编码,把世界上所有的字符都进行了编码,任何一个字符只有一个二进制代码与其一一对应,那么就解决了乱码的问题,UNICODE编码便采用了这种思想。

但是UNICODE只规定了每个符号的二进制代码,没有规定这个二进制代码如何存储。例如,一些字符对应的二进制代码只需1个字节便可表示,比如英文字母,有些更大的字符可能需要2个字节存储,那么当遇到占2个字节的二进制代码时,如何判断它是两个字母还是一个字符呢,另外如果都已所有字符对应的二进制代码都已4个字节来表示,那么太浪费空间了。

于是一些UNICODE编码的实现出现了,比如UTF-8、UTF-16、UTF-32,其中UTF-8采用了变长的编码方式,根据制定的转换规则,将每个字符对应的二进制代码,转换成不同长度的字节序列存储起来。给定一个具体的字节序列,必然能够知道其对应的UNICODE二进制代码,也就知道了其表示哪个字符。(未完)

目录
相关文章
|
JavaScript 数据安全/隐私保护
41 # 编码的问题
41 # 编码的问题
60 0
|
11月前
|
存储 数据库
编码集的作用是什么?常见的编码集有什么?为什么常用utf-8?
编码集的作用是什么?常见的编码集有什么?为什么常用utf-8?
81 0
|
1月前
|
存储
编码
编码。
51 7
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
编码和解码的未来之路
编码和解码的未来之路
|
存储 Java 数据安全/隐私保护
什么是编码和解码
什么是编码和解码
375 0
|
存储 算法 Java
【字符编码】字符编码 && Base64编码算法
  在前面的解决乱码的一文中,只找到了解决办法,但是没有为什么,说白了,就是对编码还是不是太熟悉,编码问题是一个很简单的问题,计算机从业人员应该也必须弄清楚,基于编码的应用有Base64加密算法,然后,这个问题一直放着,想找个机会解决。于是乎,终于逮到机会,开始下手。
229 0
【字符编码】字符编码 && Base64编码算法
|
机器学习/深度学习 算法 索引
关于Onehot编码的总结
关于Onehot编码的总结
603 0
关于Onehot编码的总结
|
存储 JavaScript Python
字符编码掠影:现代编码模型
## Abstract 字符编码,在计算机导论中经常作为开门的前几个话题来讲,然而很多CS教材对这个话题基本都是走马观花地几页带过。导致了许多人对如此重要且基本的概念认识模糊不清。直到在实际编程中,尤其是遇到多语言、国际化的问题,被虐的死去活来之后才痛下决心去重新钻研。诸如此类极其基础却又容易被人忽视的的知识点还有:大小端表示,浮点数细节,正则表达式,日期时间处理等。本文是系列的第一篇,旨在阐
3058 1