详解字符集和编码规则| 手把手教你入门Python之二十八

简介: 本节重点介绍字符集

上一篇:8种字符串常⻅操作| 手把手教你入门Python之二十七
下一篇:介绍2种成员运算符 | 手把手教你入门Python之二十九

本文来自于千锋教育在阿里云开发者社区学习中心上线课程《Python入门2020最新大课》,主讲人姜伟。

字符集

计算机只能处理数字(其实就是数字0和数字1),如果要处理⽂本,就必须先把⽂本转换为数字才能处理。最早的计算机在设计时采⽤8个⽐特(bit)作为⼀个字节(byte),所以,⼀个字节能表示的最⼤的整数就是255(⼆进制11111111=⼗进制255),0 - 255被⽤来表示⼤⼩写英⽂字⺟、数字和⼀些符号,这个编码表被称为ASCII编码。

ASCII码表使⽤7位⼆进制表示⼀个字符,它的区间范围时0~127,⼀共只能表示128个字符,仅能⽀持英语。随着计算机科学的发展,⻄欧语⾔、希腊语、泰语、阿拉伯语、希伯来语等语⾔的字符也被添加到码表中,形成了⼀个新的码表ISO8859-1(⼜被称为Latin1)码表。ISO8859-1使⽤8位⼆进制表示⼀个字符串,完全兼容ASCII码表。

Unicode(统⼀码、万国码、单⼀码)是计算机科学领域⾥的⼀项业界标准,包括字符集、编码⽅案等。
Unicode 是为了解决传统的字符编码⽅案的局限⽽产⽣的,它为每种语⾔中的每个字符设定了统⼀并且唯⼀的⼆进制编码,以满⾜跨语⾔、跨平台进⾏⽂本转换、处理的要求。

字符和编码相互转换

使⽤chr和ord⽅法,可以实现字符和编码之间的相互转换。

print(ord('a')) # 使⽤ord⽅法,可以获取⼀个字符对应的编码
print(chr(100)) # 使⽤chr⽅法,可以获取⼀个编码对应的字符

编码规则

使⽤Unicode为每种语⾔的每个字符都设定了唯⼀的⼆进制编码,但是它还是存在⼀定的问题,不够完美。
例如,汉字 “你” 转换成为⼀个字符结果是 0x4f60 ,转换成为⼆进制就是 01001111 01100000 ,此时
就有两个问题:

  1. 1001111 01100000 到底是⼀个汉字 “你” ,还是两个 Latin1 字符?
  2. 如果Unicode进⾏了规定,每个字符都使⽤n个⼋位来表示,对于Latin1字符来说,⼜会浪费很多存储空
    间。

为了解决这个问题,就出现了⼀些编码规则,按照⼀定的编码规则对Unicode数字进⾏计算,得出新的编
码。在中国常⽤的字符编码有 GBK , Big5 和 utf8 这三种编码规则。

使⽤字符串的encode⽅法,可以将字符串按照指定的编码格式转换称为⼆进制;使⽤decode⽅法,可以将⼀个⼆进制数据按照指定的编码格式转换成为字符串。

s1 = '你'.encode('utf8') # 将字符 你 按照utf8格式编码称为⼆进制
print(type(s1)) # <class 'bytes'>
print(s1) # b'\xe4\xbd\xa0'
s2 = s1.decode('utf8') # 将⼆进制按照utf8格式解码称为字符串
print(s2)
s3 = '你'.encode('gbk') # 将字符 你 按照gbk格式转换称为⼆进制
print(s3) # b'\xc4\xe3'
s4 = s3.decode('gbk') # 将⼆进制按照gbk格式解码称为字符
print(s4)

思考:⽂字产⽣乱码的原因以及解决⽅案。

image.png

相关文章
|
1天前
|
开发者 Python
Python入门:8.Python中的函数
### 引言 在编写程序时,函数是一种强大的工具。它们可以将代码逻辑模块化,减少重复代码的编写,并提高程序的可读性和可维护性。无论是初学者还是资深开发者,深入理解函数的使用和设计都是编写高质量代码的基础。本文将从基础概念开始,逐步讲解 Python 中的函数及其高级特性。
Python入门:8.Python中的函数
|
1天前
|
存储 索引 Python
Python入门:6.深入解析Python中的序列
在 Python 中,**序列**是一种有序的数据结构,广泛应用于数据存储、操作和处理。序列的一个显著特点是支持通过**索引**访问数据。常见的序列类型包括字符串(`str`)、列表(`list`)和元组(`tuple`)。这些序列各有特点,既可以存储简单的字符,也可以存储复杂的对象。 为了帮助初学者掌握 Python 中的序列操作,本文将围绕**字符串**、**列表**和**元组**这三种序列类型,详细介绍其定义、常用方法和具体示例。
Python入门:6.深入解析Python中的序列
|
1天前
|
程序员 UED Python
Python入门:3.Python的输入和输出格式化
在 Python 编程中,输入与输出是程序与用户交互的核心部分。而输出格式化更是对程序表达能力的极大增强,可以让结果以清晰、美观且易读的方式呈现给用户。本文将深入探讨 Python 的输入与输出操作,特别是如何使用格式化方法来提升代码质量和可读性。
Python入门:3.Python的输入和输出格式化
|
1天前
|
机器学习/深度学习 人工智能 算法框架/工具
Python入门:1.Python介绍
Python是一种功能强大、易于学习和运行的解释型高级语言。由**Guido van Rossum**于1991年创建,Python以其简洁、易读和十分工程化的设计而带来了庞大的用户群体和丰富的应用场景。这个语言在全球范围内都被认为是**创新和效率的重要工具**。
Python入门:1.Python介绍
|
1天前
|
缓存 算法 数据处理
Python入门:9.递归函数和高阶函数
在 Python 编程中,函数是核心组成部分之一。递归函数和高阶函数是 Python 中两个非常重要的特性。递归函数帮助我们以更直观的方式处理重复性问题,而高阶函数通过函数作为参数或返回值,为代码增添了极大的灵活性和优雅性。无论是实现复杂的算法还是处理数据流,这些工具都在开发者的工具箱中扮演着重要角色。本文将从概念入手,逐步带你掌握递归函数、匿名函数(lambda)以及高阶函数的核心要领和应用技巧。
Python入门:9.递归函数和高阶函数
|
1天前
|
存储 SQL 索引
Python入门:7.Pythond的内置容器
Python 提供了强大的内置容器(container)类型,用于存储和操作数据。容器是 Python 数据结构的核心部分,理解它们对于写出高效、可读的代码至关重要。在这篇博客中,我们将详细介绍 Python 的五种主要内置容器:字符串(str)、列表(list)、元组(tuple)、字典(dict)和集合(set)。
Python入门:7.Pythond的内置容器
|
1天前
|
存储 Linux iOS开发
Python入门:2.注释与变量的全面解析
在学习Python编程的过程中,注释和变量是必须掌握的两个基础概念。注释帮助我们理解代码的意图,而变量则是用于存储和操作数据的核心工具。熟练掌握这两者,不仅能提高代码的可读性和维护性,还能为后续学习复杂编程概念打下坚实的基础。
Python入门:2.注释与变量的全面解析
|
1天前
|
知识图谱 Python
Python入门:4.Python中的运算符
Python是一间强大而且便捷的编程语言,支持多种类型的运算符。在Python中,运算符被分为算术运算符、赋值运算符、复合赋值运算符、比较运算符和逻辑运算符等。本文将从基础到进阶进行分析,并通过一个综合案例展示其实际应用。
|
1月前
|
人工智能 Unix Java
[oeasy]python059变量命名有什么规则_惯用法_蛇形命名法_name_convention_snake
本文探讨了Python中变量命名的几种常见方式,包括汉语拼音变量名、蛇形命名法(snake_case)和驼峰命名法(CamelCase)。回顾上次内容,我们主要讨论了使用下划线替代空格以提高代码可读性。实际编程中,当变量名由多个单词组成时,合理的命名惯例变得尤为重要。
89 9
|
1月前
|
存储 数据挖掘 数据处理
Python Pandas入门:行与列快速上手与优化技巧
Pandas是Python中强大的数据分析库,广泛应用于数据科学和数据分析领域。本文为初学者介绍Pandas的基本操作,包括安装、创建DataFrame、行与列的操作及优化技巧。通过实例讲解如何选择、添加、删除行与列,并提供链式操作、向量化处理、索引优化等高效使用Pandas的建议,帮助用户在实际工作中更便捷地处理数据。
47 2

热门文章

最新文章

推荐镜像

更多