[Python进阶]Python闭包的深入浅出

简介: [Python进阶]Python闭包的深入浅出

前提准备


首先我们要明白在python中一切皆对象,数字、字符串、元组、列表、字典、函数、方法、类、模块等等都是对象。


因为函数也是一个对象,所以函数能够像其他变量一样被当作参数传给其他的函数,同样函数能也能够作为另一个函数的结果返回

map、sorted,filter 这几个函数都可以接受一个函数作为参数,具体用法就不在此赘述了


自由变量:指未在本地作用域绑定的变量,是相对来说的

建议看一下这个文章自由变量


函数闭包


闭包产生的原因:出现了函数嵌套,且内层函数使用了不是自己作用域的变量


一般情况下,如果一个函数结束,函数的内部所有东西都会释放掉,还给内存,局部变量都会消失。但是闭包是一种特殊情况,如果外函数在结束的时候发现有自己的临时变量将来会在内部函数中用到,就把这个临时变量绑定给了内部函数,然后自己再结束。


闭包简而言之就是将数据和内部函数封装到一个包(区域)中

函数的闭包就是一种函数嵌套的一种特殊情况


闭包的使用方式


在讲解闭包之前我们先看一些例子,希望大家带着疑问去学习,去理解后面的讲解


方式一:将某些变量定义在函数内部,不与全局的变量发生冲突


def outer():
    name = "fish"  
    def inner():  # 子函数可以有很多个
        print(name)
    return inner
f1 = outer()
f1() # fish


我们可以看到,虽然name = "fish" 是局部的变量,但是在外部调用f1()的时候仍然可以正常的使用


  • 方式二:将外部数据封装到函数内部(重点)
def outer(name):
    def inner():
        print(name)
    return inner   # 将内部的函数返回出去
name = 'fish'
f1 = outer(name)
name = 'tom'
f2 = outer(name)
f1()  # 输出 fish
f2()  # 输出 tom


错误理解:在调用函数f1,f2时因为内部没有定义name变量,所以函数执行时会去全局变量中找,此时全局变量name=tom结果应该都会输出 tom

但是实际输出f1()输出fish,f2()输出tom


我们能够发现在调用f1(),f2()使用的变量并没有随着全局变量的变化而改变,仍然是创建f1(),f2()函数对象时的内容


再看一个例子

def outer(x):
    def inner(y):
        print(x*y)
    return inner
x = 2  
f1 = outer(x)
x = 3
f2 = outer(x)
f1(2)      # 4 等价于 2*2
f2(3)      # 8 等价于 3*3


错误理解:在调用函数f1,f2时因为内部没有定义x变量,所以函数执行时会去全局变量中找,此时全局变量x=3所以 f1(2) 应该是 3*2, f2(3) 应该是 3*3

实际情况:f1(2) 是 2*2, f2(3) 是 3*3


总结

通过上面三个例子我们能够发现在调用f1(),f2()使用的变量并没有随着全局变量的变化而改变,仍然是创建f1(),f2()函数对象时的内容

原因就是当执行外部函数outer之后,传入的变量就和函数对象绑定到了一起(闭包),当再次调用返回的函数对象f1或f2的时候,就会发现函数对象使用的是和自己绑定的数据。


闭包的理论讲解


下面我们一步步的解释这个原因,由表及里的解释

每执行一遍fn = outer(x) 就会生成一个函数对象,每一个函数对象都有自己的内存空间,也会被存储到这个内存空间,这个过程就叫闭包,这个变量叫做自由变量后面再使用变量的时候就会从这个内存空间里面取值

c3ce487c70f74e9593dfd66917182f25.png


注:这个图不是实际的内存结构图,只是为了便于讲解


现在是不是有个疑问,怎么就闭包了?自由变量到底存到了哪里?


下面我们就根据源码来探究这个问题


在回忆一下文章开头说的那句话python中一切皆对象,函数也是对象,是对象就有属性,我们现在就有理由怀疑自由变量被存到了函数对象的属性中。


事实上自由变量就是存到了函数对象的属性中,我先说明出来,后面会有代码的验证


当执行执行outer函数结束时,如果内部函数inner中如果将来会使用自由变量,那么内部函数inner的__closure__ 属性就会保存需要的自由变量,该属性记录着自由变量的地址。当闭包被调用时,系统就会根据该地址找到对应的自由变量,完成整体的函数调用,又因为f1和f2不是同一个函数对象,所以函数对象的__closure__ 属性保存的数据也不同。


闭包的代码验证


下面让我们用代码验证


  • 内部函数没有使用自由变量,此时它的__closure__属性为None
def outer():
    def inner():
        print('hello')
    return inner
f = outer()
print(f.__closure__) # None
  • 内部函数使用自由变量,此时它的__closure__属性是一个元组里面存储自由变量
def outer():
    name = 'fish'
    age = 112
    def inner():
        print(name,age)
    return inner
f = outer()
print(f.__closure__) 
# (<cell at 0x000001ED4A6BAFD0: int object at 0x000001ED30E85750>, <cell at 0x000001ED4A6BAFA0: str object at 0x000001ED30FF74F0>)


内部函数没有使用自由变量:函数对象的__closure__属性没有值,

内部函数使用自由变量: 函数对象的__closure__属性是一个元组,里面存着自由变量的地址,__closure__属性可以存储多个自由变量的内容


最终我们回到一开始的三个例子中,验证__closure__属性是不是闭包中数据存放的位置


# 依旧是实例中的函数
def outer(name):
    def inner():
        print(name)
    return inner   # 将内部的函数返回出去
name = 'fish'
f1 = outer(name)
name = 'tom'
f2 = outer(name)
# 解释一下代码的含义
# 取出__closure__[0]中的第一个元素,返回的是一个cell单元格对象
# .cell_contents 获取cell单元格对象具体的值
print(f1.__closure__) #(<cell at 0x000001615108AA90: str object at 0x00000161379E4B70>,)
print(f1.__closure__[0].cell_contents)  # fish
print(f2.__closure__[0].cell_contents)  # tom
f1()  # 输出 fish
f2()  # 输出 tom


通过我们的实际操作以及输出,我们发现__closure__属性保存的内容就是创建函数对象时的自由变量


经过理论加代码验证相信你已经能够理解Python的闭包的真正情况,我们可以很明显的认识到原来闭包也没有这么神秘,


最后我们总结一下函数的闭包


闭包就是嵌套函数的一种特殊情况,内层函数需要使用自由变量,这个变量不会随着外层函数的结束而被销毁,它会被保存到函数对象的__closure__属性中。


闭包的实战


  • 装饰器

Python中大名鼎鼎的装饰器的实现就有闭包的思想,关于这个装饰器,这里就不具体阐述,过两天我会更新一个关于装饰器的博客

  • 多线程爬虫
    暂时看不懂也没有关系
from concurrent.futures.thread import ThreadPoolExecutor
import requests
def download(url):
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
    }
    res = requests.get(url=url,headers=header)
    return res.text
def outer(file_name):
    def write_file(response):
        # print(type(response.result()))
        content = response.result()
        print(file_name)
        with open(file_name,'w',encoding='utf8') as fp:
            fp.write(content)
    return write_file
Pool = ThreadPoolExecutor(5)
url_arr = [
    ("https://www.163.com/news/article/HJQC8KGG000189FH.html",'1.txt'),
    ("https://www.163.com/news/article/HJQCBM89000189FH.html",'2.txt'),
    ("https://www.163.com/news/article/HJPTU9E8000189FH.html",'3.txt'),
    ("https://www.163.com/news/article/HJQ64VA1000189FH.html",'4.txt'),
    ("https://www.163.com/news/article/HJQ0V8VJ000189FH.html",'5.txt')
]
for item in url_arr:
    future = Pool.submit(download,item[0])  # 通过submit提交执行的函数到线程池中
    future.add_done_callback(outer(item[1]))
Pool.shutdown()


总结


通过这篇文章希望大家能够明白什么是Python的闭包,通过代码验证我们可以闭包并不神秘,只是函数对象的一个属性保存了自由变量。

Python的闭包独自使用的情况很少,通常都是和其他的应用一块使用,但是闭包这个思想很重要,面试经常问到。

相关文章
|
14天前
|
Python Windows
【Python进阶必备】一文掌握re库:实战正则表达式
【Python进阶必备】一文掌握re库:实战正则表达式
12 0
|
4月前
|
机器学习/深度学习 自然语言处理 算法框架/工具
在Python中进行自然语言处理(NLP)的进阶应用
在Python中进行自然语言处理(NLP)的进阶应用
43 3
|
3天前
|
存储 Python
Python进阶语法之推导式
本章是对自己学完基础语法后,学习python进阶语法推导式过程中,自己的一些理解和看法,因为自己从刚开始第一次看看不懂,到学习一段时间后,通过积累再次看这里的知识点发现自己有了新的理解,这次将这部分知识学完了,剩下就是通过练习来达到熟练了.本章的推导式,包含列表推导式,字典推导式,集合与元组推导式这四种.主要是对python进阶语法推导式,的练习与理解,同时也提高了自己对代码的简化和运行的能力的提高,也是在这次学习中,我发现学习代码更多需要的是对基础和知识的积累,当眼界与思维突破瓶颈,看之前难以理解的事物发现变的容易去使用和理解了.
12 2
|
17天前
|
安全 前端开发 中间件
Python面试题:Django Web框架基础与进阶
【4月更文挑战第17天】本文详细梳理了Django面试中常考的基础和进阶问题,包括MTV架构、ORM、数据库迁移、视图模板、中间件、信号、表单验证、用户认证授权等,并指出易错点及规避策略。提供代码示例展示模型和视图的实现,助力开发者在面试中脱颖而出。
36 12
|
18天前
|
数据采集 前端开发 JavaScript
使用Python打造爬虫程序之揭开动态加载内容的神秘面纱:Python爬虫进阶技巧
【4月更文挑战第19天】本文探讨了如何用Python爬虫抓取动态加载内容。动态加载内容常由JavaScript异步加载,传统爬虫无法捕获。文章介绍了两种方法:1) 使用Selenium模拟浏览器行为,等待动态内容出现并提取数据;2) 分析网页API请求,直接模拟请求获取数据。同时,提醒注意性能、反爬策略和API变动等问题,强调持续学习与实践的重要性。
|
21天前
|
数据库 Python
python面型对象编程进阶(继承、多态、私有化、异常捕获、类属性和类方法)(下)
python面型对象编程进阶(继承、多态、私有化、异常捕获、类属性和类方法)
47 0
|
21天前
|
Python
python面型对象编程进阶(继承、多态、私有化、异常捕获、类属性和类方法)(上)
python面型对象编程进阶(继承、多态、私有化、异常捕获、类属性和类方法)(上)
60 0
|
1月前
|
人工智能 机器人 测试技术
【python】python闭包的详细解读(傻瓜式教学)
【python】python闭包的详细解读(傻瓜式教学)
|
2月前
|
Python
探索Python集合推导式的进阶应用
探索Python集合推导式的进阶应用
|
2月前
|
存储 程序员 Python
Python教程第9章 | 通俗易懂学闭包
本文通过一个需求探讨闭包的基本概念与用法,帮助快速理解闭包。
17 0