Python 模块的加载顺序

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Python 模块的加载顺序

1.基本概念

  • module:模块, 一个 py 文件或以其他文件形式存在的可被导入的就是一个模块
  • package:包,包含有 init 文件的文件夹
  • relative path:相对路径,相对于某个目录的路径
  • absolute path:绝对路径,全路径

    2.Python 解释器是如何查找包和模块的

Python 执行一个 py 文件,无论执行的方式是用绝对路径还是相对路径,interpreter 都会把文件所在的 directory 加入 sys.path 这个 list 中,并且是索引为 0 的位置。Python 就是在 sys.path 中查找包和模块的。

import sys
print(sys.path)
print('Now in main.py')


def hello():
    print('michael hello')


if __name__ == '__main__':
    hello()

# 执行 python test.py
$ python test.py
['/tmp/module-package/app', '/usr/lib64/python27.zip', '/usr/lib64/python2.7', '/usr/lib64/python2.7/plat-linux2', '/usr/lib64/python2.7/lib-tk', '/usr/lib64/python2.7/lib-old', '/usr/lib64/python2.7/lib-dynload', '/usr/lib64/python2.7/site-packages', '/usr/lib/python2.7/site-packages']
Now in test.py
michael hello

3.Python 解释器查找包的顺序

解释器查找包:

  • 解释器会默认加载一些 modules,除了sys.builtin_module_names 列出的内置模块之外,还会加载其他一些标准库,都存放在sys.modules字典中。
  • 然后就是搜索 sys.path 路径下的模块了。
In [3]: import sys

In [4]: print(sys.builtin_module_names)
('_abc', '_ast', '_codecs', '_collections', '_functools', '_imp', '_io', '_locale', '_operator', '_signal', '_sre', '_stat', '_string', '_symtable', '_thread', '_tracemalloc', '_warnings', '_weakref', 'atexit', 'builtins', 'errno', 'faulthandler', 'gc', 'itertools', 'marshal', 'posix', 'pwd', 'sys', 'time', 'xxsubtype', 'zipimport')

这样的查找顺序将会导致同名包或模块被遮蔽。

示例2:

# tree
$ tree . -L 1
.
├── __init__.py
├── name
├── os.py
├── test2.py
├── test.py
└── test.pyc

# test2.py
import os
from redis import Redis
from test import hello

print('Now in test2.py')
print(os.getcwd())

# 执行 python test2.py
$ python test2.py
Traceback (most recent call last):
  File "test2.py", line 2, in <module>
    from redis import Redis
ImportError: No module named redis

这里的 os 模块并不是是 built-in module,上面已经将 sys.builtin_module_names 内容打印出来了。只是 Python 解释器启动时就加载到了 sys.modules中缓存起来了。所以,即使在同目录下有同名模块,解释器依然是可以找到正确的 os 模块的!如果你在import os之前,先执行del sys.modules['os'],那么,标准模块 os 就会被同目录下的 os.py 屏蔽了。

redis 属于第三方模块,默认安装位置是 Python 环境变量中的 site-packages,解释器启动之后,会将此目录加到 sys.path,由于当前目录会在 sys.path 的首位,当前目录的 redis 优先被找到了,site-packages 中的 redis 模块被屏蔽了。

综上所述,搜索的一个顺序是:sys.modules 缓存 -> sys.path[0] 即当前目录查找 -> sys.path[1:]路径查找。

同时发现,模块被加载的时候,其中非函数或类的语句,例如 print('hello')、name=michael等,是会在 import的时候,默认就执行了。

4.交互式执行环境的查找顺序

交互执行环境,解释器会自动把当前目录加入到sys.path,这一点和直接执行文件是一样的,但是这种方式下,sys.path[0] 是存储的当前目录的相对路径,而不是绝对路径。

In [4]: import sys

In [5]: sys.path[0]
Out[5]: ''

5.模块中的 file 变量

1.文件中的 file

当模块以文件的形式出现 file 指的是模块文件的路径名,以相对路径执行 file 是相对路径,以绝对路径执行 file 是绝对路径:

print __file__

# 执行 python test.py
$ python test3.py
test3.py

$ python /tmp/module-package/app/test3.py
/tmp/module-package/app/test3.py

2.交互式 Shell 中的 file

前交互式 Shell 的执行并不是以文件的形式加载,所以不存在__file__这样的属性:

In [8]: __file__
---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-8-358d5687b810> in <module>()
----> 1 __file__

NameError: name '__file__' is not defined

6.sys.argv[0] 变量

sys.argv[0] 是获得入口执行文件路径,__file__ 是真实被执行模块的文件路径。比如下面例子中,test2.py 就是入口执行文件,而 test.py 就是在 import 时真实被执行的模块

# test.py
print(__file__)
print(sys.argv[0])

# test2.py
import test

# 执行 python test2.py
/tmp/module-package/app/test.py # __file__
test2.py # sys.argv[0]

7.sys.modules 的作用

载入的模块存放在何处? 答案是 sys.modules。 模块一经载入, Python 会把这个模块加入 sys.modules 中供下次载入使用,这样可以加速模块引入,起到缓存作用。sys.modules 是一个 dict 类型的值。


In [14]: sys.modules['requests']
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-14-8aefaef0aed5> in <module>()
----> 1 sys.modules['requests']

KeyError: 'requests'

In [15]: import requests

In [16]: sys.modules['requests']
Out[16]: <module 'requests' from '/usr/lib/python2.7/site-packages/requests/__init__.pyc'>
# 没有预先引入 math,但是 sys.modules 中已经有这个键
In [18]: sys.modules['math']
Out[18]: <module 'math' from '/usr/lib64/python2.7/lib-dynload/math.so'>

需要注意的是, sys.modules['math'] 尽管可以看到 math 键,但是,要使用它,还是需要显示 import math 之后才能使用的,因为那只是 Python 解释器后台缓存的,你不显示引入,本地空间还是不会去发现它。

8.总结

Python 通过查找 sys.path 来决定包的导入,Python解释器启动时加载的模块缓存 > 同级目录 > sys.path[1:]。Python 中的特有属性 __file__以及 sys.argv[0]、sys.argv[0]、sys.modules 可以帮助分析包的查找和导入过程。

相关文章
|
7天前
|
安全 大数据 程序员
Python operator模块的methodcaller:一行代码搞定对象方法调用的黑科技
`operator.methodcaller`是Python中处理对象方法调用的高效工具,替代冗长Lambda,提升代码可读性与性能。适用于数据过滤、排序、转换等场景,支持参数传递与链式调用,是函数式编程的隐藏利器。
29 4
|
1月前
|
存储 安全 数据处理
Python 内置模块 collections 详解
`collections` 是 Python 内置模块,提供多种高效数据类型,如 `namedtuple`、`deque`、`Counter` 等,帮助开发者优化数据处理流程,提升代码可读性与性能,适用于复杂数据结构管理与高效操作场景。
98 0
|
10月前
|
开发者 Python
如何在Python中管理模块和包的依赖关系?
在实际开发中,通常会结合多种方法来管理模块和包的依赖关系,以确保项目的顺利进行和可维护性。同时,要及时更新和解决依赖冲突等问题,以保证代码的稳定性和可靠性
316 62
|
2月前
|
数据安全/隐私保护 Python
抖音私信脚本app,协议私信群发工具,抖音python私信模块
这个实现包含三个主要模块:抖音私信核心功能类、辅助工具类和主程序入口。核心功能包括登录
|
5月前
|
Python
Python教程:os 与 sys 模块详细用法
os 模块用于与操作系统交互,主要涉及夹操作、路径操作和其他操作。例如,`os.rename()` 重命名文件,`os.mkdir()` 创建文件夹,`os.path.abspath()` 获取文件绝对路径等。sys 模块则用于与 Python 解释器交互,常用功能如 `sys.path` 查看模块搜索路径,`sys.platform` 检测操作系统等。这些模块提供了丰富的工具,便于开发中处理系统和文件相关任务。
232 14
|
9月前
|
Python
Python Internet 模块
Python Internet 模块。
208 74
|
6月前
|
人工智能 自然语言处理 Shell
[oeasy]python070_如何导入模块_导入模块的作用_hello_dunder_双下划线
本文介绍了如何在Python中导入模块及其作用,重点讲解了`__hello__`模块的导入与使用。通过`import`命令可以将外部模块引入当前环境,增强代码功能。例如,导入`__hello__`模块后可输出“Hello world!”。此外,还演示了如何使用`help()`和`dir()`函数查询模块信息,并展示了导入多个模块的方法。最后,通过一个实例,介绍了如何利用`jieba`、`WordCloud`和`matplotlib`模块生成词云图。总结来说,模块是封装好的功能部件,能够简化编程任务并提高效率。未来将探讨如何创建自定义模块。
83 8
|
6月前
|
缓存 Shell 开发工具
[oeasy]python071_我可以自己做一个模块吗_自定义模块_引入模块_import_diy
本文介绍了 Python 中模块的导入与自定义模块的创建。首先,我们回忆了模块的概念,即封装好功能的部件,并通过导入 `__hello__` 模块实现了输出 &quot;hello world!&quot; 的功能。接着,尝试创建并编辑自己的模块 `my_file.py`,引入 `time` 模块以获取当前时间,并在其中添加自定义输出。
100 5
|
10月前
|
算法 数据安全/隐私保护 开发者
马特赛特旋转算法:Python的随机模块背后的力量
马特赛特旋转算法是Python `random`模块的核心,由松本真和西村拓士于1997年提出。它基于线性反馈移位寄存器,具有超长周期和高维均匀性,适用于模拟、密码学等领域。Python中通过设置种子值初始化状态数组,经状态更新和输出提取生成随机数,代码简单高效。
263 63
|
10月前
|
Python
Python的模块和包
总之,模块和包是 Python 编程中非常重要的概念,掌握它们可以帮助我们更好地组织和管理代码,提高开发效率和代码质量
217 61

推荐镜像

更多