tokenstream

语义分析_抽象语法树_反汇编记忆

上次回顾了一下历史python 是如何从无到有的看到 Guido 长期的坚持和努力

tokenstream

添加图片评论,不超过140字(可选)

python究竟是如何理解print("hello")的?这些ascii字母如何被组织起来执行?

纯文本

首先编写Guido的简历

打印(& # 34;1982年-圭多在cwi & # 34)打印(& # 34;1995年的今天,圭多在cnri & # 34)打印(& # 34;2000年-圭多在贝奥彭& # 34;)打印(& # 34;2005年-圭多在谷歌& # 34;)打印(& # 34;2012年——圭多在dropbox & # 34)打印(& # 34;2020年——圭多在微软& # 34;)

并保存为Guido.py

生成令牌流

回到shell之后从字符流生成token流

添加图片评论,不超过140字(可选)

这个过程叫做分词

分词

首先把一个个字符组成词分析一下哪些字可以组成词术语叫词法分析(lexical ysis)

添加图片评论,不超过140字(可选)

词分析出来之后呢?

构词

词分析出来就是怎么组词的问题哪些词和哪些词先组合哪些词和哪些词后组合

生成一棵抽象语法树AST(Abstract Syntax Tree)

添加图片评论,不超过140字(可选)

我能看看这棵ast树么?

介绍ast模块

添加图片评论,不超过140字(可选)

具体怎么做呢?

程序

先把这个ast模块导入(import)进来第一句就是import ast回车之后没有任何报错那就是执行成功了后面也一样没有报错就是执行成功了

添加图片评论,不超过140字(可选)

然后读取guido.py并送到s然后对于s进行语法分析(parse)

添加图片评论,不超过140字(可选)

再把分析(parse)的结果进行转储(dump)看起来有点乱可以清晰一些么?

升级Python

目前lanqiao.cn上面的python是3.8这个清晰缩进的格式需要在3.9以上完成需要升级

sudo apt更新sudo apt安装python3.9

升级之后就可以使用Python3.9了

添加图片评论,不超过140字(可选)

换行缩进

只能在本地演示一下

添加图片评论,不超过140字(可选)

这个就是把词组成语法树的样子如何理解这棵树呢?我们看一个例子

表达式操作

如果给的表达式为 1 2 3

添加图片评论,不超过140字(可选)

结合序为下图

添加图片评论,不超过140字(可选)

前两个先结合得到的结果作为下一个运算的左操作数然后和第3个结合

结合序列

如果把 第一个* 改成 + 号其他什么也没加

添加图片评论,不超过140字(可选)

表达式是1 + 2 * 3

添加图片评论,不超过140字(可选)

后两个会先结合得到的结果 作为下一个运算的 右操作数然后再和1 进行 加法运算

有了 语法树下一步 要做什么呢?

这棵语法树 我们能看懂但是cpu 需要的是能执行的 一条条字节码指令

翻译成字节码

要把源程序 翻译成字节码 才能执行字节码 对应着cpu的指令

怎么把ast 转化为字节码(指令) 呢?需要 编译(compile)

从一种语言 到 另一种语言从py文件到字节码(指令)就是编译compile

添加图片评论,不超过140字(可选)

编制

添加图片评论,不超过140字(可选)

我可以看看这个编译过程么?

指令

instructionpython3 -m dis Guido.py-m 代表使用模块dis 代表反编译(disassemble)

添加图片评论,不超过140字(可选)

我们可以看见前面是行号每行对应4条指令LOAD_NAME 装载(函数)名字LOAD_CONST 装载常量CALL_FUNCTION 调用函数POP_TOP 弹栈

编译结果

先看看这个pyc文件注意他在__pycache__文件夹下

添加图片评论,不超过140字(可选)

:%!xxd把文件转化为字节形态

添加图片评论,不超过140字(可选)

这纯纯的机器语言字节形态实在是看不懂啊这真的是指令么?

究竟什么是指令呢?

指令

py文件每行print 对应4条指令LOAD_NAME 装载(函数)名字LOAD_CONST 装载常量CALL_FUNCTION 调用函数POP_TOP 弹栈

https://github.com/python/cpython/blob/main/Lib/opcode.py

添加图片评论,不超过140字(可选)

这样 我们 能否找到4条指令 分别对应的 字节状态值

找到相应的关系

指令记忆法

指令含义

小数状态

十六进制状态

负载名称

加载函数名称

101

0x65

负载常数

加载参数

100

0x64

调用函数

调用函数

142

0x8e

流行_热门

堆栈返回

一个

0x01

可以找对应关系

添加图片评论,不超过140字(可选)

先得把文件从硬盘读到内存

Python3执行类似这样的操作。

先把python3.8这个主解释器加载到内存中

然后 在x86-64的cpu上 执行模拟出 一台python虚拟机

添加图片评论,不超过140字(可选)

准备开始 对py文件 解释执行

先编译

然后把参数 Guido.py 这个需要执行的程序 加载到内存词法分析 得到 词流(token stream)语法分析 得到 抽象语法树(Abstract Syntax Tree)编译 得到 字节码 (byte_code)

添加图片评论,不超过140字(可选)

也就是编译后 的pyc文件

解释和执行

不过 这个pyc指令文件是基于python虚拟机的 虚拟cpu的 指令集的

添加图片评论,不超过140字(可选)

需要放到 模拟好的 python虚拟机中一条条指令 进行执行

换句话说

简化版的 hello.py 的执行过程是:给了 python3 一个参数 Guido.py使用 python3 这个解释器来解释执行 Guido.pyGuido.py中的语句一句句地依次解释执行

全解释完成 后退出python这个程序把控制权交回到shell

添加图片评论,不超过140字(可选)

这些 都是基于 解释器python3的所谓的 解释器python3先编译成 python虚拟机的 虚拟指令字节码然后用 python虚拟机 直接执行虚拟指令

而解释器(python3) 是在不同系统 不同架构的cpu语言上 运行的

添加图片评论,不超过140字(可选)

那不同的系统、cpu架构python3 为什么 都能正确地解释?

摘要

这次把py源文件词法分析 得到 词流(token stream)语法分析 得到 抽象语法树(Abstract Syntax Tree)这里确立了优先级

编译 得到 字节码 (bytecode)

字节码我们看不懂所以反编译 得到 指令文件(opcode)指令文件是基于python虚拟机的虚拟cpu的指令集

添加图片评论,不超过140字(可选)

先从 python3最基础的变量声明和赋值来看看python虚拟机是如何做的?

我们下次再说蓝桥->https://www.lanqiao.cn/courses/3584github->https://github.com/overmind1980/oeasy-python-tutorialgitee->https://gitee.com/overmind1980/oeasypython

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。

发表回复

登录后才能评论