为什么要看 Python 源码?它的结构长什么样子?

简介: 为什么要看 Python 源码?它的结构长什么样子?

楔子



毫无疑问,Python 已经成为当下最主流的语言之一,如果你只是会用,那么很难和其他人拉开差距。但如果你知道 Python 解释器的底层原理,比如:

  • 列表、字典、生成器等数据结构是怎么实现的;
  • GIL 如何限制多线程只能同时使用一个核;
  • 虚拟机是如何执行字节码的;
  • Python 的垃圾回收又是怎么一回事;
  • ······

那么你在面试的时候一定能让面试官眼前一亮,并且也能写出更好、更优雅的代码,这也是我们为什么要剖析 Python 解释器源码。可 Python 解释器的源码行数有五十多万行,该怎么入手呢?不用担心,本系列就来抽丝剥茧,带你近距离观察 Python 解释器这座宏伟大厦。

注:官方 Python 解释器由 C 语言编写,我们称之为 CPython。想要读懂它,需要有一定的 C 语言基础,当然我也会给出详细的注释。

本系列力求详细、精致,在介绍源码时会给出大量的注释和清晰的图表,并且我不仅仅会介绍源码实现,还会穿插大量的 Python 普通知识。因为 Python 解释器由 C 语言编写,想要读懂它,需要有一定的 C 语言基础。而本系列则确保,不管你 C 语言的水平如何,读了之后都能有所收获。


下载 CPython



接下来登录 Python 官网 www.python.org 下载 CPython。

6a2b8e5f440c0b27271bdcb2e8bce23e.jpg

目前 Python 的最新版本是 3.12.3,我们点击它。当然随着时间的推移,Python 也会进行更新。

a2069b29d7ca790572719764aa860fdc.jpg

再点击 Gzipped source tarball 即可下载指定版本的源码。


CPython 源码结构



压缩包下载下来之后解压,即可得到整个 CPython 工程项目,我们看看它长什么样子?

c94ab99094501682a4a5076aeada9b4d.jpg

解释一下每个目录的作用。

Doc 目录

存储 Python 文档的源文件(.rst),用于编译之后生成官方文档。

Grammar 目录

负责定义 Python 的语法规则。

Include 目录

包含 Python 所有公开的头文件,这些文件定义了 Python 的 C API,在编写扩展模块和嵌入式开发时会用到。

Lib 目录

Python 的标准库,对于那些不影响性能的功能会用 Python 编写,然后放在 Lib 目录下面。

Modules 目录

Python 的内置库,这些库都是用 C 编写的,编译之后会内嵌在解释器里面。我们举个例子:

import random, _random
import re, _sre
import io, _io
import ast, _ast

以 random 为例,它是用来生成随机数的,和性能密切相关。所以它的核心功能由 C 编写,编译之后内嵌在解释器里,模块名为 _random。只不过 Python 又封装了一个 random,在内部会导入 _random,像 re 和 _sre、asyncio 和 _asyncio 都是类似的关系。

Modules 目录里面实现了大量和性能相关的模块,比如 sys、time、gc 等等,我们后续再聊。

Objects 目录

包含 Python 内置数据结构的底层实现,像字典、列表、元组、函数等,底层实现都定义在 Objects 目录中。

Parser 目录

负责 Python 编译器的具体实现,虽然 Python 是解释型语言,但也是要经过编译的。编译的结果为 PyCodeObject 对象,它里面包含了要执行的字节码,编译完之后会交给虚拟机执行。

所以 Python 解释器 = Python 编译器 + Python 虚拟机。

Python 目录

Python 虚拟机的具体实现,字节码的执行、执行环境的管理等都在里面。

Mac 目录

用于 Mac OS X 平台的特定工具和脚本。

Misc 目录

包含各种杂项文件,如配置脚本、工具等。

PC 目录

专为 Windows 平台编写的配置文件和特定扩展。

PCbuild 目录

用于在 Windows 上编译 Python 的项目文件。

Programs 目录

包含 Python 其它可执行文件(如 IDLE)的源代码。

Tools 目录

包含用 Python 编写的各种脚本和工具,帮助开发和维护 Python。

以上就是 CPython 的源码结构,对它有一个基本的认识有助于我们后续的源码学习。


解释器、编译器、虚拟机



介绍源码结构时我们说 Python 解释器 = Python 编译器 + Python 虚拟机,那当解释器执行 py 文件时都经历了哪些过程呢?

435ff33c6adb1c12c31d572afd7d1f79.jpg

Read File、Scanner、Parser、Compiler 都是由 Python 编译器负责的,Code Eval 则由 Python 虚拟机负责。

因此 Python 虽然是解释型语言,但也有编译的过程。源代码会被编译器编译成 PyCodeObject 对象,然后再交给虚拟机来执行。而之所以要存在编译,是为了让虚拟机能更快速地执行,比如在编译阶段常量都会提前分配好,而且还可以尽早检测出语法上的错误。

而 Python 编译器和 Python 虚拟机组合起来,便是 Python 解释器。

0f9ce0ff5bffbbe4467828c9c38a417e.jpg

如果你了解 Java,那么应该知道 Java 也有编译器和虚拟机。只不过 Java 的编译器和虚拟机是分开的,而 Python 则是整合在一起的。

不过在后续介绍 Python 源码的时候,我们暂不涉及 Python 编译器的部分,也就是 Parser 目录里面的代码不做分析,因为涉及到编译原理。而且编译这一过程也不是 Python 语言独有的,任何一门编程语言、当然还有 SQL 都会涉及到编译。所以探究 Python 代码的编译过程没太大意义,我们的重点是 Python 代码的编译结果,以及虚拟机是如何执行的?

当然如果大家对编译过程感兴趣,我们后面也会介绍一下这方面的内容。举个例子,我们来替换掉 Python 的几个关键字。

00b20e07ab0ff13b15f81d99cfc41cd9.png

Python 源码的分词,语法解析等均由 Parser 目录负责

b35c8e2bc05b98bcba6e3abc9420f54b.png

比如 tokenizer.c 负责分词,parser.c 负责语法解析,感兴趣可以看一下,但不建议花太多时间。因为这个过程对深入 Python 没多大用,并且 parser.c 的代码行数多达 4w 多行,读起来也很痛苦。

如果真的对这方面感兴趣,可以后台私信我,有机会我来聊一聊这方面的内容,顺便带大家手搓一个简易版的木兰出来。对,就是之前那个很火的国产编程语言。但目前的话,我们还是把重心放在 Python 代码的编译结果以及虚拟机的执行上面。


小结



本文就说到这里,赶快下载 Python 3.12 源码,来和我一起学习 Python 吧。

相关文章
|
21天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
17天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2564 22
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
15天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
13天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
17天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1556 16
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
19天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
830 14
|
14天前
|
人工智能 开发框架 Java
重磅发布!AI 驱动的 Java 开发框架:Spring AI Alibaba
随着生成式 AI 的快速发展,基于 AI 开发框架构建 AI 应用的诉求迅速增长,涌现出了包括 LangChain、LlamaIndex 等开发框架,但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言,并非十分友好和丝滑。因此,我们基于 Spring AI 发布并快速演进 Spring AI Alibaba,通过提供一种方便的 API 抽象,帮助 Java 开发者简化 AI 应用的开发。同时,提供了完整的开源配套,包括可观测、网关、消息队列、配置中心等。
622 7
|
8天前
|
Docker 容器
Docker操作 (五)
Docker操作 (五)
170 69
|
8天前
|
Docker 容器
Docker操作 (三)
Docker操作 (三)
167 69
|
19天前
|
人工智能 自动驾驶 机器人
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。
629 53
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界