详解字符集和编码规则| 手把手教你入门Python之二十八

简介: 本节重点介绍字符集

上一篇:8种字符串常⻅操作| 手把手教你入门Python之二十七
下一篇:介绍2种成员运算符 | 手把手教你入门Python之二十九

本文来自于千锋教育在阿里云开发者社区学习中心上线课程《Python入门2020最新大课》,主讲人姜伟。

字符集

计算机只能处理数字(其实就是数字0和数字1),如果要处理⽂本,就必须先把⽂本转换为数字才能处理。最早的计算机在设计时采⽤8个⽐特(bit)作为⼀个字节(byte),所以,⼀个字节能表示的最⼤的整数就是255(⼆进制11111111=⼗进制255),0 - 255被⽤来表示⼤⼩写英⽂字⺟、数字和⼀些符号,这个编码表被称为ASCII编码。

ASCII码表使⽤7位⼆进制表示⼀个字符,它的区间范围时0~127,⼀共只能表示128个字符,仅能⽀持英语。随着计算机科学的发展,⻄欧语⾔、希腊语、泰语、阿拉伯语、希伯来语等语⾔的字符也被添加到码表中,形成了⼀个新的码表ISO8859-1(⼜被称为Latin1)码表。ISO8859-1使⽤8位⼆进制表示⼀个字符串,完全兼容ASCII码表。

Unicode(统⼀码、万国码、单⼀码)是计算机科学领域⾥的⼀项业界标准,包括字符集、编码⽅案等。
Unicode 是为了解决传统的字符编码⽅案的局限⽽产⽣的,它为每种语⾔中的每个字符设定了统⼀并且唯⼀的⼆进制编码,以满⾜跨语⾔、跨平台进⾏⽂本转换、处理的要求。

字符和编码相互转换

使⽤chr和ord⽅法,可以实现字符和编码之间的相互转换。

print(ord('a')) # 使⽤ord⽅法,可以获取⼀个字符对应的编码
print(chr(100)) # 使⽤chr⽅法,可以获取⼀个编码对应的字符

编码规则

使⽤Unicode为每种语⾔的每个字符都设定了唯⼀的⼆进制编码,但是它还是存在⼀定的问题,不够完美。
例如,汉字 “你” 转换成为⼀个字符结果是 0x4f60 ,转换成为⼆进制就是 01001111 01100000 ,此时
就有两个问题:

  1. 1001111 01100000 到底是⼀个汉字 “你” ,还是两个 Latin1 字符?
  2. 如果Unicode进⾏了规定,每个字符都使⽤n个⼋位来表示,对于Latin1字符来说,⼜会浪费很多存储空
    间。

为了解决这个问题,就出现了⼀些编码规则,按照⼀定的编码规则对Unicode数字进⾏计算,得出新的编
码。在中国常⽤的字符编码有 GBK , Big5 和 utf8 这三种编码规则。

使⽤字符串的encode⽅法,可以将字符串按照指定的编码格式转换称为⼆进制;使⽤decode⽅法,可以将⼀个⼆进制数据按照指定的编码格式转换成为字符串。

s1 = '你'.encode('utf8') # 将字符 你 按照utf8格式编码称为⼆进制
print(type(s1)) # <class 'bytes'>
print(s1) # b'\xe4\xbd\xa0'
s2 = s1.decode('utf8') # 将⼆进制按照utf8格式解码称为字符串
print(s2)
s3 = '你'.encode('gbk') # 将字符 你 按照gbk格式转换称为⼆进制
print(s3) # b'\xc4\xe3'
s4 = s3.decode('gbk') # 将⼆进制按照gbk格式解码称为字符
print(s4)

思考:⽂字产⽣乱码的原因以及解决⽅案。

image.png

相关文章
|
9天前
|
数据采集 存储 XML
Python爬虫定义入门知识
Python爬虫是用于自动化抓取互联网数据的程序。其基本概念包括爬虫、请求、响应和解析。常用库有Requests、BeautifulSoup、Scrapy和Selenium。工作流程包括发送请求、接收响应、解析数据和存储数据。注意事项包括遵守Robots协议、避免过度请求、处理异常和确保数据合法性。Python爬虫强大而灵活,但使用时需遵守法律法规。
|
10天前
|
Python
深入理解Python装饰器:从入门到实践####
本文旨在通过简明扼要的方式,为读者揭开Python装饰器的神秘面纱,从基本概念、工作原理到实际应用场景进行全面解析。不同于常规的摘要仅概述内容概要,本文将直接以一段精炼代码示例开篇,展示装饰器如何优雅地增强函数功能,激发读者探索兴趣,随后深入探讨其背后的机制与高级用法。 ####
40 11
|
7天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的自我修养:从Python编程入门到深度学习实践
【10月更文挑战第39天】本文旨在为初学者提供一条清晰的道路,从Python基础语法的掌握到深度学习领域的探索。我们将通过简明扼要的语言和实际代码示例,引导读者逐步构建起对人工智能技术的理解和应用能力。文章不仅涵盖Python编程的基础,还将深入探讨深度学习的核心概念、工具和实战技巧,帮助读者在AI的浪潮中找到自己的位置。
|
7天前
|
机器学习/深度学习 数据挖掘 Python
Python编程入门——从零开始构建你的第一个程序
【10月更文挑战第39天】本文将带你走进Python的世界,通过简单易懂的语言和实际的代码示例,让你快速掌握Python的基础语法。无论你是编程新手还是想学习新语言的老手,这篇文章都能为你提供有价值的信息。我们将从变量、数据类型、控制结构等基本概念入手,逐步过渡到函数、模块等高级特性,最后通过一个综合示例来巩固所学知识。让我们一起开启Python编程之旅吧!
|
7天前
|
存储 Python
Python编程入门:打造你的第一个程序
【10月更文挑战第39天】在数字时代的浪潮中,掌握编程技能如同掌握了一门新时代的语言。本文将引导你步入Python编程的奇妙世界,从零基础出发,一步步构建你的第一个程序。我们将探索编程的基本概念,通过简单示例理解变量、数据类型和控制结构,最终实现一个简单的猜数字游戏。这不仅是一段代码的旅程,更是逻辑思维和问题解决能力的锻炼之旅。准备好了吗?让我们开始吧!
|
6天前
|
设计模式 缓存 开发框架
Python中的装饰器:从入门到实践####
本文深入探讨了Python中装饰器的工作原理与应用,通过具体案例展示了如何利用装饰器增强函数功能、提高代码复用性和可读性。读者将学习到装饰器的基本概念、实现方法及其在实际项目开发中的实用技巧。 ####
19 3
|
9天前
|
机器学习/深度学习 数据采集 数据可视化
Python在数据科学中的应用:从入门到实践
本文旨在为读者提供一个Python在数据科学领域应用的全面概览。我们将从Python的基础语法开始,逐步深入到数据处理、分析和可视化的高级技术。文章不仅涵盖了Python中常用的数据科学库,如NumPy、Pandas和Matplotlib,还探讨了机器学习库Scikit-learn的使用。通过实际案例分析,本文将展示如何利用Python进行数据清洗、特征工程、模型训练和结果评估。此外,我们还将探讨Python在大数据处理中的应用,以及如何通过集成学习和深度学习技术来提升数据分析的准确性和效率。
|
8天前
|
机器学习/深度学习 数据挖掘 开发者
Python编程入门:理解基础语法与编写第一个程序
【10月更文挑战第37天】本文旨在为初学者提供Python编程的初步了解,通过简明的语言和直观的例子,引导读者掌握Python的基础语法,并完成一个简单的程序。我们将从变量、数据类型到控制结构,逐步展开讲解,确保即使是编程新手也能轻松跟上。文章末尾附有完整代码示例,供读者参考和实践。
|
9天前
|
人工智能 数据挖掘 程序员
Python编程入门:从零到英雄
【10月更文挑战第37天】本文将引导你走进Python编程的世界,无论你是初学者还是有一定基础的开发者,都能从中受益。我们将从最基础的语法开始讲解,逐步深入到更复杂的主题,如数据结构、面向对象编程和网络编程等。通过本文的学习,你将能够编写出自己的Python程序,实现各种功能。让我们一起踏上Python编程之旅吧!
|
10天前
|
数据采集 机器学习/深度学习 人工智能
Python编程入门:从基础到实战
【10月更文挑战第36天】本文将带你走进Python的世界,从基础语法出发,逐步深入到实际项目应用。我们将一起探索Python的简洁与强大,通过实例学习如何运用Python解决问题。无论你是编程新手还是希望扩展技能的老手,这篇文章都将为你提供有价值的指导和灵感。让我们一起开启Python编程之旅,用代码书写想法,创造可能。