详解字符集和编码规则| 手把手教你入门Python之二十八

简介: 本节重点介绍字符集

上一篇:8种字符串常⻅操作| 手把手教你入门Python之二十七
下一篇:介绍2种成员运算符 | 手把手教你入门Python之二十九

本文来自于千锋教育在阿里云开发者社区学习中心上线课程《Python入门2020最新大课》,主讲人姜伟。

字符集

计算机只能处理数字(其实就是数字0和数字1),如果要处理⽂本,就必须先把⽂本转换为数字才能处理。最早的计算机在设计时采⽤8个⽐特(bit)作为⼀个字节(byte),所以,⼀个字节能表示的最⼤的整数就是255(⼆进制11111111=⼗进制255),0 - 255被⽤来表示⼤⼩写英⽂字⺟、数字和⼀些符号,这个编码表被称为ASCII编码。

ASCII码表使⽤7位⼆进制表示⼀个字符,它的区间范围时0~127,⼀共只能表示128个字符,仅能⽀持英语。随着计算机科学的发展,⻄欧语⾔、希腊语、泰语、阿拉伯语、希伯来语等语⾔的字符也被添加到码表中,形成了⼀个新的码表ISO8859-1(⼜被称为Latin1)码表。ISO8859-1使⽤8位⼆进制表示⼀个字符串,完全兼容ASCII码表。

Unicode(统⼀码、万国码、单⼀码)是计算机科学领域⾥的⼀项业界标准,包括字符集、编码⽅案等。
Unicode 是为了解决传统的字符编码⽅案的局限⽽产⽣的,它为每种语⾔中的每个字符设定了统⼀并且唯⼀的⼆进制编码,以满⾜跨语⾔、跨平台进⾏⽂本转换、处理的要求。

字符和编码相互转换

使⽤chr和ord⽅法,可以实现字符和编码之间的相互转换。

print(ord('a')) # 使⽤ord⽅法,可以获取⼀个字符对应的编码
print(chr(100)) # 使⽤chr⽅法,可以获取⼀个编码对应的字符

编码规则

使⽤Unicode为每种语⾔的每个字符都设定了唯⼀的⼆进制编码,但是它还是存在⼀定的问题,不够完美。
例如,汉字 “你” 转换成为⼀个字符结果是 0x4f60 ,转换成为⼆进制就是 01001111 01100000 ,此时
就有两个问题:

  1. 1001111 01100000 到底是⼀个汉字 “你” ,还是两个 Latin1 字符?
  2. 如果Unicode进⾏了规定,每个字符都使⽤n个⼋位来表示,对于Latin1字符来说,⼜会浪费很多存储空
    间。

为了解决这个问题,就出现了⼀些编码规则,按照⼀定的编码规则对Unicode数字进⾏计算,得出新的编
码。在中国常⽤的字符编码有 GBK , Big5 和 utf8 这三种编码规则。

使⽤字符串的encode⽅法,可以将字符串按照指定的编码格式转换称为⼆进制;使⽤decode⽅法,可以将⼀个⼆进制数据按照指定的编码格式转换成为字符串。

s1 = '你'.encode('utf8') # 将字符 你 按照utf8格式编码称为⼆进制
print(type(s1)) # <class 'bytes'>
print(s1) # b'\xe4\xbd\xa0'
s2 = s1.decode('utf8') # 将⼆进制按照utf8格式解码称为字符串
print(s2)
s3 = '你'.encode('gbk') # 将字符 你 按照gbk格式转换称为⼆进制
print(s3) # b'\xc4\xe3'
s4 = s3.decode('gbk') # 将⼆进制按照gbk格式解码称为字符
print(s4)

思考:⽂字产⽣乱码的原因以及解决⽅案。

image.png

相关文章
|
1天前
|
存储 人工智能 数据挖掘
Python编程入门:从基础到实战
【9月更文挑战第26天】 在这篇文章中,我们将一起探索Python编程的奇妙世界。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供有价值的信息和技巧。我们将从Python的基本语法开始,然后逐步深入到更复杂的主题,如函数、类和模块。最后,我们将通过一个实际的项目来应用我们所学的知识。让我们一起开始这段Python编程之旅吧!
|
3天前
|
Python
python第三方库-字符串编码工具 chardet 的使用(python3经典编程案例)
这篇文章介绍了如何使用Python的第三方库chardet来检测字符串的编码类型,包括ASCII、GBK、UTF-8和日文编码的检测示例。
26 6
|
2天前
|
数据采集 人工智能 数据挖掘
Python编程入门:从基础到实战的快速指南
【9月更文挑战第25天】本文旨在为初学者提供一个简明扼要的Python编程入门指南。通过介绍Python的基本概念、语法规则以及实际案例分析,帮助读者迅速掌握Python编程的核心技能。文章将避免使用复杂的专业术语,而是采用通俗易懂的语言和直观的例子来阐述概念,确保内容的可读性和实用性。
|
2天前
|
设计模式 开发者 Python
Python中的装饰器:从入门到精通
【9月更文挑战第25天】本文深入浅出地介绍了Python装饰器的使用,包括其定义、语法和实际应用。通过实例演示如何利用装饰器增强函数功能,同时探讨了装饰器的高级用法如带参数的装饰器和装饰器嵌套。最后,文章强调了在设计装饰器时应避免的常见陷阱。
|
2天前
|
前端开发 开发者 Python
从零到一:Python Web框架中的模板引擎入门与进阶
在Web开发的广阔世界里,模板引擎是连接后端逻辑与前端展示的重要桥梁。对于Python Web开发者而言,掌握模板引擎的使用是从零到一构建动态网站或应用不可或缺的一步。本文将带你从基础入门到进阶应用,深入了解Python Web框架中的模板引擎。
11 3
|
1天前
|
Python
Python 中如何指定 open 编码为ANSI
Python 中如何指定 open 编码为ANSI
|
1天前
|
Python Windows
python入门保姆级教程 | 13
python入门保姆级教程 | 13
|
2天前
|
设计模式 缓存 中间件
探索Python中的装饰器:从入门到实践
【9月更文挑战第25天】本文通过直观的语言和生动的比喻,深入浅出地介绍Python装饰器的概念、原理及应用。我们将一起走进装饰器的魔法世界,解锁其在代码编写中的强大功能,让你的代码更加优雅和高效。
|
3天前
|
数据库 开发者 Python
Python编程基础:从入门到实践
【9月更文挑战第24天】本文将带你走进Python的世界,从最基础的语法开始,逐步深入到函数、类等高级特性。我们将通过实际代码示例,让你在阅读中不仅能理解Python的概念,还能动手实践,体验编程的乐趣。无论你是编程新手,还是想转行学习Python的开发者,这篇文章都将为你提供有价值的参考。让我们一起开启Python的学习之旅吧!
|
3天前
|
机器学习/深度学习 存储 数据挖掘
Python编程入门:从基础到实战
【9月更文挑战第24天】本教程将引领初学者步入Python编程的奇妙世界。我们将从最基础的概念开始,逐步深入,通过实例和练习,让你掌握这门强大而易学的语言。无论你是编程新手,还是希望扩展技能的开发者,这篇文章都将为你开启一段充满乐趣的编程之旅。
13 2