为什么要使用 Python 生成器?该如何使用 Python 生成器?

简介:

自从 PEP 255引入生成器以来,它就是Python中重要的一部分.

生成器允许你定义一个有迭代器行为的函数.

它允许程序猿更快,更简单并且以一个干净的方式创建一个迭代器.

那么什么是迭代器呢, 你或许会问?

 iterator 迭代器是一个可以被迭代的(循环)对象. 它可以抽象为一个装着数据同时有着可迭代对象的行为的容器.或许你已经每天在使用一些可迭代的对象: 诸如字符串,列表,字典或其它名字的对象.

一个迭代器是一个实现了迭代器接口 Iterator Protocol的类. 这个接口为类提供了两个方法: __iter__ 和 __next__.

嗯~ 回到上一步. 你为什么想要创建一个迭代器呢?

节省内存空间

当实例化后,迭代器并不会计算它每一个项的值,他们只会等你访问这些项的时候采取计算。这也就是众所周知的惰性求值

当你有一个非常大的数据集需要计算时,惰性求值是很有用处的。它允许你马上就能开始使用数据,尽管整个数据集还在计算中。

假设我们想要获得小于某个最大值的所有素数。

我们先定义一个函数,它可以检查一个数字是否为素数:

def check_prime(number):
    for divisor in range(2, int(number ** 0.5) + 1):
        if number % divisor == 0:
            return False
    return True

然后,我们定义一个迭代器类,包含__iter__ 和 __next__ 方法。

class Primes:
    def __init__(self, max):
        self.max = max
        self.number = 1
    def __iter__(self):
        return self
    def __next__(self):
        self.number += 1
        if self.number >= self.max:
            raise StopIteration
        elif check_prime(self.number):
            return self.number
        else:
            return self.__next__()

Primes 类通过给定一个最大值来实例化。如果下一个素数比最大值max还要大,迭代器就会抛出一个StopIteration异常来把迭代器停掉。

当我们请求迭代器中的下一个元素时,它会给number加1并检查这个数字是否为素数。如果不是,它会再次调用__next__直到number成为素数。一旦如此,迭代器就将这个数字返回。

通过使用迭代器,我们并不会在内存中创建一个包含很多素数的列表。相反,我们将会在每次请求下一个素数时才去生成它。

让我们来试一试:

primes = Primes(100000000000)
print(primes)
for x in primes:
    print(x)
    ......
<__main__.Primes object at 0x1021834a8>
2
3
5
7
11
...

对 Primes 对象的每一次迭代都调用了 __next__ 来生成下一个素数。

迭代器只可以被迭代一轮。如果你尝试再迭代primes一轮,它将不会返回任何值,表现得就像个空列表。

既然我们已经知道了什么是迭代器,以及怎么制作一个迭代器,我们接下来将继续来看看生成器。

生成器

回想下,生成器函数允许我们以一种更简单的方式来创建迭代器。

生成器给Python引入了yield声明。它用起来有点像return,因为它会返回一个值。

区别在于yield会保存函数的状态。在函数下一次被调用时,将会从其离开的地方继续执行,并且变量值也与它之前执行yield操作前相同。

如果把我们的Primes迭代器转换为生成器,它看起来会像这样:

def Primes(max):
    number = 1
    while number < max:
        number += 1
        if check_prime(number):
            yield number
primes = Primes(100000000000)
print(primes)
for x in primes:
    print(x)
......
<generator object Primes at 0x10214de08>
2
3
5
7
11
...

现在真是太pythonic了!我们还能再给力点吗?

当然!我们可以使用 PEP 289中介绍的生成器表达式。

这相当于是生成器的列表推导式。它用起来与列表推导式相同,不过表达式由()包裹而不是[]。

下面的表达式可以代替我们上面的生成器函数:

primes = (i for i in range(2, 100000000000) if check_prime(i))
print(primes)
for x in primes:
    print(x)
......
<generator object > at 0x101868e08>
2
3
5
7
11
...

这就是Python生成器的美妙之处。

总结...

  • 生成器允许你以一种非常pythonic的方式来创建迭代器。
  • 迭代器允许惰性求值,只有在请求下一个元素时迭代器对象才会去生成它。这对于非常大的数据集是很有用的。
  • 迭代器和生成器都只能被迭代一轮。
  • 生成器函数比迭代器更好。
  • 生成器表达式比迭代器更好(只在简单情况下如此)。

你也可以来看看我的这篇文章 explanation ,看看我是怎样使用Python在Medium上找到有趣的人并关注他们的。

原    文: How — and why — you should use Python Generators
作    者:Summer


目录
相关文章
|
3月前
|
人工智能 数据安全/隐私保护 Python
小红书图文生成器,小红书AI图文生成工具,python版本软件
Pillow库自动生成符合平台尺寸要求的配图7;3)利用Playwright实现自动化发布流程6。
|
3月前
|
数据采集 NoSQL 调度
当生成器遇上异步IO:Python并发编程的十大实战兵法
本文通过十大实战场景,详解Python中生成器与异步IO的高效结合。从协程演进、背压控制到分布式锁、性能剖析,全面展示如何利用asyncio与生成器构建高并发应用,助你掌握非阻塞编程核心技巧,提升I/O密集型程序性能。
105 0
|
23天前
|
存储 大数据 Unix
Python生成器 vs 迭代器:从内存到代码的深度解析
在Python中,处理大数据或无限序列时,迭代器与生成器可避免内存溢出。迭代器通过`__iter__`和`__next__`手动实现,控制灵活;生成器用`yield`自动实现,代码简洁、内存高效。生成器适合大文件读取、惰性计算等场景,是性能优化的关键工具。
175 2
|
6月前
|
开发者 Python
Python代码设计:使用生成器替代回调函数
本文探讨了在处理大文件时计算MD5值的实现方法,并展示了如何通过回调函数、生成器和类等方式输出进度。首先介绍了通过回调函数更新进度的方式,然后优化为使用生成器简化调用者代码,最后对比了两种方式的优缺点。虽然生成器使代码更简洁,但在异常处理上不如回调函数灵活。作者通过实例分析,帮助开发者根据需求选择合适的方式。
114 16
|
2月前
|
传感器 数据采集 监控
Python生成器与迭代器:从内存优化到协程调度的深度实践
简介:本文深入解析Python迭代器与生成器的原理及应用,涵盖内存优化技巧、底层协议实现、生成器通信机制及异步编程场景。通过实例讲解如何高效处理大文件、构建数据流水线,并对比不同迭代方式的性能特点,助你编写低内存、高效率的Python代码。
136 0
|
1月前
|
大数据 数据处理 数据安全/隐私保护
Python3 迭代器与生成器详解:从入门到实践
简介:本文深入解析Python中处理数据序列的利器——迭代器与生成器。通过通俗语言与实战案例,讲解其核心原理、自定义实现及大数据处理中的高效应用。
90 0
|
3月前
|
存储 API 数据库
自动发短信的软件,批量自动群发短信,手机号电话号生成器【python框架】
这个短信群发系统包含以下核心功能: 随机手机号生成器(支持中国号码) 批量短信发送功能(使用Twilio API)
|
4月前
|
数据采集 搜索推荐 调度
当生成器遇上异步IO:Python并发编程的十大实战兵法
生成器与异步IO是Python并发编程中的两大利器,二者结合可解决诸多复杂问题。本文通过十个真实场景展示其强大功能:从优雅追踪日志文件、API调用流量整形,到实时数据流反压控制、大文件分片处理等,每个场景都体现了生成器按需生成数据与异步IO高效利用I/O的优势。两者配合不仅内存可控、响应及时,还能实现资源隔离与任务独立调度,为高并发系统提供优雅解决方案。这种组合如同乐高积木,虽单个模块简单,但组合后却能构建出复杂高效的系统。
94 0
|
12月前
|
存储 索引 Python
Python生成器、装饰器、异常(2)
【10月更文挑战第16天】
152 1
Python生成器、装饰器、异常(2)
|
11月前
|
大数据 数据处理 开发者
Python中的迭代器和生成器:不仅仅是语法糖####
本文探讨了Python中迭代器和生成器的深层价值,它们不仅简化代码、提升性能,还促进了函数式编程风格。通过具体示例,揭示了这些工具在处理大数据、惰性求值及资源管理等方面的优势。 ####

推荐镜像

更多