语义分析_抽象语法树_反汇编 回忆
- 上次回顾了一下历史
- python 是如何从无到有的
- 看到 Guido 长期的坚持和努力
添加图片注释，不超过 140 字（可选）
- python究竟是如何理解
- print("hello")的？
- 这些ascii字母如何被组织起来执行？
纯文本
- 首先编写Guido的简历
print("1982------Guido in cwi") print("1995------Guido in cnri") print("2000------Guido in beopen") print("2005------Guido in google") print("2012------Guido in dropbox") print("2020------Guido in microsoft")
- 并保存为Guido.py
生成token流
- 回到shell之后
- 从字符流生成token流
添加图片注释，不超过 140 字（可选）
- 这个过程叫做分词
分词
- 首先把一个个字符组成词
- 分析一下哪些字可以组成词
- 术语叫词法分析(lexical analysis)
添加图片注释，不超过 140 字（可选）
- 词分析出来之后呢？
组词
- 词分析出来就是怎么组词的问题
- 哪些词和哪些词先组合
- 哪些词和哪些词后组合
- 生成一棵抽象语法树
- AST(Abstract Syntax Tree)
添加图片注释，不超过 140 字（可选）
- 我能看看这棵ast树么？
引入ast模块
添加图片注释，不超过 140 字（可选）
- 具体怎么做呢？
流程
- 先把这个ast模块导入(import)进来
- 第一句就是import ast
- 回车之后没有任何报错
- 那就是执行成功了
- 后面也一样
- 没有报错就是执行成功了
添加图片注释，不超过 140 字（可选）
- 然后读取guido.py并送到s
- 然后对于s进行语法分析(parse)
添加图片注释，不超过 140 字（可选）
- 再把分析(parse)的结果进行转储(dump)
- 看起来有点乱
- 可以清晰一些么？
升级Python
- 目前lanqiao.cn上面的python是3.8
- 这个清晰缩进的格式需要在3.9以上完成
- 需要升级
sudo apt update sudo apt install python3.9
- 升级之后就可以使用Python3.9了
添加图片注释，不超过 140 字（可选）
缩进换行
- 只能在本地演示一下
添加图片注释，不超过 140 字（可选）
- 这个就是把词组成语法树的样子
- 如何理解这棵树呢？
- 我们看一个例子
表达式运算
- 如果给的表达式为 1 2 3
添加图片注释，不超过 140 字（可选）
- 结合序为下图
添加图片注释，不超过 140 字（可选）
- 前两个先结合
- 得到的结果作为下一个运算的左操作数
- 然后和第3个结合
结合序
- 如果把 第一个* 改成 + 号
- 其他什么也没加
添加图片注释，不超过 140 字（可选）
- 表达式是1 + 2 * 3
添加图片注释，不超过 140 字（可选）
- 后两个会先结合
- 得到的结果 作为下一个运算的 右操作数
- 然后再和1 进行 加法运算
- 有了 语法树
- 下一步 要做什么呢？
- 这棵语法树 我们能看懂
- 但是cpu 需要的是
- 能执行的 一条条字节码指令
翻译成 字节码
- 要把源程序 翻译成字节码 才能执行
- 字节码 对应着cpu的指令
- 怎么把ast 转化为字节码(指令) 呢？
- 需要 编译(compile)
- 从一种语言 到 另一种语言
- 从py文件
- 到字节码(指令)
- 就是编译
- compile
添加图片注释，不超过 140 字（可选）
compile
添加图片注释，不超过 140 字（可选）
- 我可以看看这个编译过程么？
指令
- instruction
- python3 -m dis Guido.py
- -m 代表使用模块
- dis 代表反编译(disassemble)
添加图片注释，不超过 140 字（可选）
- 我们可以看见
- 前面是行号
- 每行对应4条指令
- LOAD_NAME 装载(函数)名字
- LOAD_CONST 装载常量
- CALL_FUNCTION 调用函数
- POP_TOP 弹栈
编译结果
- 先看看这个pyc文件
- 注意他在__pycache__文件夹下
添加图片注释，不超过 140 字（可选）
- :%!xxd
- 把文件转化为字节形态
添加图片注释，不超过 140 字（可选）
- 这纯纯的机器语言字节形态
- 实在是看不懂啊😭
- 这真的是指令么？
- 究竟什么是指令呢？
指令
- py文件每行print 对应4条指令
- LOAD_NAME 装载(函数)名字
- LOAD_CONST 装载常量
- CALL_FUNCTION 调用函数
- POP_TOP 弹栈
添加图片注释，不超过 140 字（可选）
- 这样 我们 能否找到
- 4条指令 分别对应的 字节状态值
找到对应关系
指令助记符 |
指令含义 |
十进制状态 |
十六进制状态 |
LOAD_NAME |
装载函数名称 |
101 |
0x65 |
LOAD_CONST |
装载参数 |
100 |
0x64 |
CALL_FUNCTION |
调用函数 |
142 |
0x8e |
POP_TOP |
弹栈返回 |
1 |
0x01 |
- 可以找对应关系
添加图片注释，不超过 140 字（可选）
- 我们从头捋一下
python3 执行过程
- 不管是python3这个游乐场
- 还是Guido.py这个python程序
- 都在我们的硬盘上
添加图片注释，不超过 140 字（可选）
- 先得把文件从硬盘读到内存
python3 执行的过程大致是这样
- 先把python3.8这个主解释器
- 加载到内存中
- 然后 在x86-64的cpu上 执行
- 模拟出 一台python虚拟机
添加图片注释，不超过 140 字（可选）
- 准备开始 对py文件 解释执行
先编译
- 然后把参数 Guido.py 这个需要执行的程序 加载到内存
- 词法分析 得到 词流(token stream)
- 语法分析 得到 抽象语法树(Abstract Syntax Tree)
- 编译 得到 字节码 (byte_code)
添加图片注释，不超过 140 字（可选）
- 也就是编译后 的pyc文件
解释执行
- 不过 这个pyc指令文件
- 是基于python虚拟机的 虚拟cpu的 指令集的
添加图片注释，不超过 140 字（可选）
- 需要放到 模拟好的 python虚拟机中
- 一条条指令 进行执行
换句话说
- 简化版的 hello.py 的执行过程是：
- 给了 python3 一个参数 Guido.py
- 使用 python3 这个解释器来解释执行 Guido.py
- Guido.py中的语句一句句地依次解释执行
- 全解释完成 后
- 退出python这个程序
- 把控制权交回到shell
添加图片注释，不超过 140 字（可选）
- 这些 都是基于 解释器python3的
- 所谓的 解释器python3
- 先编译成 python虚拟机的 虚拟指令字节码
- 然后用 python虚拟机 直接执行虚拟指令
- 而解释器(python3) 是
- 在不同系统 不同架构的cpu语言上 运行的
添加图片注释，不超过 140 字（可选）
- 那不同的系统、cpu架构
- python3 为什么 都能正确地解释？
总结
- 这次把py源文件
- 词法分析 得到 词流(token stream)
- 语法分析 得到 抽象语法树(Abstract Syntax Tree)
- 这里确立了优先级
- 编译 得到 字节码 (bytecode)
- 字节码我们看不懂
- 所以反编译 得到 指令文件(opcode)
- 指令文件是基于python虚拟机的虚拟cpu的指令集
添加图片注释，不超过 140 字（可选）
- 先从 python3最基础的
- 变量声明和赋值来看看
- python虚拟机是如何做的？🤔
- 我们下次再说👋
- 蓝桥->https://www.lanqiao.cn/courses/3584
- github->https://github.com/overmind1980/oeasy-python-tutorial
- gitee->https://gitee.com/overmind1980/oeasypython
