详解字符集和编码规则| 手把手教你入门Python之二十八

简介: 本节重点介绍字符集

上一篇:8种字符串常⻅操作| 手把手教你入门Python之二十七
下一篇:介绍2种成员运算符 | 手把手教你入门Python之二十九

本文来自于千锋教育在阿里云开发者社区学习中心上线课程《Python入门2020最新大课》,主讲人姜伟。

字符集

计算机只能处理数字(其实就是数字0和数字1),如果要处理⽂本,就必须先把⽂本转换为数字才能处理。最早的计算机在设计时采⽤8个⽐特(bit)作为⼀个字节(byte),所以,⼀个字节能表示的最⼤的整数就是255(⼆进制11111111=⼗进制255),0 - 255被⽤来表示⼤⼩写英⽂字⺟、数字和⼀些符号,这个编码表被称为ASCII编码。

ASCII码表使⽤7位⼆进制表示⼀个字符,它的区间范围时0~127,⼀共只能表示128个字符,仅能⽀持英语。随着计算机科学的发展,⻄欧语⾔、希腊语、泰语、阿拉伯语、希伯来语等语⾔的字符也被添加到码表中,形成了⼀个新的码表ISO8859-1(⼜被称为Latin1)码表。ISO8859-1使⽤8位⼆进制表示⼀个字符串,完全兼容ASCII码表。

Unicode(统⼀码、万国码、单⼀码)是计算机科学领域⾥的⼀项业界标准,包括字符集、编码⽅案等。
Unicode 是为了解决传统的字符编码⽅案的局限⽽产⽣的,它为每种语⾔中的每个字符设定了统⼀并且唯⼀的⼆进制编码,以满⾜跨语⾔、跨平台进⾏⽂本转换、处理的要求。

字符和编码相互转换

使⽤chr和ord⽅法,可以实现字符和编码之间的相互转换。

print(ord('a')) # 使⽤ord⽅法,可以获取⼀个字符对应的编码
print(chr(100)) # 使⽤chr⽅法,可以获取⼀个编码对应的字符

编码规则

使⽤Unicode为每种语⾔的每个字符都设定了唯⼀的⼆进制编码,但是它还是存在⼀定的问题,不够完美。
例如,汉字 “你” 转换成为⼀个字符结果是 0x4f60 ,转换成为⼆进制就是 01001111 01100000 ,此时
就有两个问题:

  1. 1001111 01100000 到底是⼀个汉字 “你” ,还是两个 Latin1 字符?
  2. 如果Unicode进⾏了规定,每个字符都使⽤n个⼋位来表示,对于Latin1字符来说,⼜会浪费很多存储空
    间。

为了解决这个问题,就出现了⼀些编码规则,按照⼀定的编码规则对Unicode数字进⾏计算,得出新的编
码。在中国常⽤的字符编码有 GBK , Big5 和 utf8 这三种编码规则。

使⽤字符串的encode⽅法,可以将字符串按照指定的编码格式转换称为⼆进制;使⽤decode⽅法,可以将⼀个⼆进制数据按照指定的编码格式转换成为字符串。

s1 = '你'.encode('utf8') # 将字符 你 按照utf8格式编码称为⼆进制
print(type(s1)) # <class 'bytes'>
print(s1) # b'\xe4\xbd\xa0'
s2 = s1.decode('utf8') # 将⼆进制按照utf8格式解码称为字符串
print(s2)
s3 = '你'.encode('gbk') # 将字符 你 按照gbk格式转换称为⼆进制
print(s3) # b'\xc4\xe3'
s4 = s3.decode('gbk') # 将⼆进制按照gbk格式解码称为字符
print(s4)

思考:⽂字产⽣乱码的原因以及解决⽅案。

image.png

相关文章
|
20天前
|
存储 数据采集 人工智能
Python编程入门:从零基础到实战应用
本文是一篇面向初学者的Python编程教程,旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点,然后通过一个简单的例子展示了如何编写Python代码。接下来,文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后,文章通过一个实战项目——制作一个简单的计算器程序,帮助读者巩固所学知识并提高编程技能。
|
25天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
本文将引导读者了解如何使用Python进行数据分析,从安装必要的库到执行基础的数据操作和可视化。通过本文的学习,你将能够开始自己的数据分析之旅,并掌握如何利用Python来揭示数据背后的故事。
|
21天前
|
IDE 程序员 开发工具
Python编程入门:打造你的第一个程序
迈出编程的第一步,就像在未知的海洋中航行。本文是你启航的指南针,带你了解Python这门语言的魅力所在,并手把手教你构建第一个属于自己的程序。从安装环境到编写代码,我们将一步步走过这段旅程。准备好了吗?让我们开始吧!
|
20天前
|
测试技术 开发者 Python
探索Python中的装饰器:从入门到实践
装饰器,在Python中是一块强大的语法糖,它允许我们在不修改原函数代码的情况下增加额外的功能。本文将通过简单易懂的语言和实例,带你一步步了解装饰器的基本概念、使用方法以及如何自定义装饰器。我们还将探讨装饰器在实战中的应用,让你能够在实际编程中灵活运用这一技术。
37 7
|
22天前
|
开发者 Python
Python中的装饰器:从入门到实践
本文将深入探讨Python的装饰器,这一强大工具允许开发者在不修改现有函数代码的情况下增加额外的功能。我们将通过实例学习如何创建和应用装饰器,并探索它们背后的原理和高级用法。
35 5
|
21天前
|
机器学习/深度学习 人工智能 算法
深度学习入门:用Python构建你的第一个神经网络
在人工智能的海洋中,深度学习是那艘能够带你远航的船。本文将作为你的航标,引导你搭建第一个神经网络模型,让你领略深度学习的魅力。通过简单直观的语言和实例,我们将一起探索隐藏在数据背后的模式,体验从零开始创造智能系统的快感。准备好了吗?让我们启航吧!
49 3
|
25天前
|
Python
Python编程入门:从零开始的代码旅程
本文是一篇针对Python编程初学者的入门指南,将介绍Python的基本语法、数据类型、控制结构以及函数等概念。文章旨在帮助读者快速掌握Python编程的基础知识,并能够编写简单的Python程序。通过本文的学习,读者将能够理解Python代码的基本结构和逻辑,为进一步深入学习打下坚实的基础。
|
28天前
|
数据采集 XML 存储
构建高效的Python网络爬虫:从入门到实践
本文旨在通过深入浅出的方式,引导读者从零开始构建一个高效的Python网络爬虫。我们将探索爬虫的基本原理、核心组件以及如何利用Python的强大库进行数据抓取和处理。文章不仅提供理论指导,还结合实战案例,让读者能够快速掌握爬虫技术,并应用于实际项目中。无论你是编程新手还是有一定基础的开发者,都能在这篇文章中找到有价值的内容。
|
28天前
|
设计模式 缓存 开发者
Python中的装饰器:从入门到实践####
本文深入探讨了Python中强大的元编程工具——装饰器,它能够以简洁优雅的方式扩展函数或方法的功能。通过具体实例和逐步解析,文章不仅介绍了装饰器的基本原理、常见用法及高级应用,还揭示了其背后的设计理念与实现机制,旨在帮助读者从理论到实战全面掌握这一技术,提升代码的可读性、可维护性和复用性。 ####
|
1月前
|
存储 人工智能 数据挖掘
Python编程入门:打造你的第一个程序
本文旨在为初学者提供Python编程的初步指导,通过介绍Python语言的基础概念、开发环境的搭建以及一个简单的代码示例,帮助读者快速入门。文章将引导你理解编程思维,学会如何编写、运行和调试Python代码,从而开启编程之旅。
42 2