Python 生成器详解：定义、使用场景与注意事项

上述案例中，QueryResult 类包含了一个 items 列表和一个索引 index，通过 query() 方法实现返回一个生成器对象。在 add() 方法中添加新的元素，query() 方法中使用 yield 语句实现惰性计算和延迟执行。

3. 使用生成器表达式实现生成器

生成器表达式是一种简洁、方便的生成器定义方式，其语法类似于列表推导式，但使用圆括号 () 而不是方括号 []。

# 生成器表达式
gen = (i ** 2 for i in range(1, 10))
for n in gen:
    print(n, end=" ")

# 对比列表推导式
list_comp = [i ** 2 for i in range(1, 10)]
print(len(list_comp))  # 会占用内存存储所有平方值
print(gen)             # 打印的是生成器对象地址

其中，使用生成器表达式定义了一个生成器对象 gen，包含 1~9 的平方值，并迭代输出结果。相比列表推导式，生成器表达式在创建时不占用大量内存。

四、生成器的进阶控制方法

除了基础的 next() 调用，生成器还支持更高级的控制方法，如 send()、throw() 和 close()。

1. send() 方法

send(value) 方法可以向生成器发送一个值，该值会成为 yield 表达式的返回值。如果生成器没有准备好接收值（例如刚启动），则必须传入 None。

def counter(start=0):
    n = yield start
    while True:
        n += 1
        yield n

c = counter()
print(next(c))  # 启动生成器，返回初始值 0
print(c.send(5))  # 发送 5，yield 表达式返回 5，计数器变为 6

2. throw() 方法

throw(type[, value[, traceback]]) 方法用于向生成器内部抛出一个异常。这可以用于在生成器内部捕获异常并进行处理。

def generator_with_error_handling():
    try:
        yield 1
        yield 2
    except ValueError as e:
        print(f"Caught exception: {e}")
        yield 3

g = generator_with_error_handling()
print(next(g))  # 输出 1
try:
    g.throw(ValueError("Test Error"))
except StopIteration:
    pass

3. close() 方法

close() 方法用于关闭生成器，触发 GeneratorExit 异常。这对于释放资源非常重要，特别是在生成器持有文件句柄或其他系统资源时。

def file_generator(filename):
    f = open(filename, 'r')
    try:
        for line in f:
            yield line
    finally:
        f.close()
        print("File closed.")

# 模拟提前结束
import sys
if __name__ == "__main__":
    # 注意：实际使用时请确保有对应文件
    # g = file_generator('test.txt')
    # next(g)
    # g.close()
    pass

五、生成器实现简单的异步操作和协程调度

生成器的 yield 语句实现了协程的特性，它取决于 next() 方法来驱动生成器函数的执行。下面是一个用生成器实现简单异步操作和协程调度的案例。

import time

def task1():
    while True:
        print("task 1")
        yield
        time.sleep(1)

def task2():
    while True:
        print("task 2")
        yield
        time.sleep(1)

def main():
    t1 = task1()
    t2 = task2()
    while True:
        next(t1)
        next(t2)

if __name__ == "__main__":
    # main()
    pass

在上述代码中，我们定义了两个任务函数 task1 和 task2，它们都采用了生成器的形式。每个生成器循环调用时，打印当前任务的名称，然后暂停 1 秒钟。在 main() 函数中，我们通过创建两个任务的生成器 t1 和 t2，依次轮流执行它们，来模拟异步操作和协程调度。

运行上述程序后可以看到，输出结果会交替显示 'task 1' 和 'task 2'，说明两个任务在进行协程调度，而且不会阻塞程序的执行。

需要注意的是，生成器的 yield 语句实现了协程的特性，它取决于 next() 方法来驱动生成器函数的执行。因此，在 main() 函数中先执行 t1 的 next() 方法，再执行 t2 的 next() 方法，反复循环调度任务。

当然，也可以使用 asyncio 库等更高级的工具来实现异步操作和协程调度，但在理解底层机制时，生成器提供了很好的基础。

六、使用生成器注意事项

Python 生成器是一种非常实用的编程技巧，可以实现惰性计算、延迟执行和节省内存等特性。但使用时需要注意以下几点：

1. 资源释放：生成器中的函数不会一次性执行完，而是通过 yield 语句实现惰性计算。对于一些需要及时释放资源的操作（如打开的文件、网络连接），应在代码中显式调用 close() 方法，或者使用 try...finally 块确保资源被释放。
2. 状态保持：yield 语句中的表达式计算结果不会直接返回，而是暂停函数的执行，并返回生成器对象，等待下个 next() 方法或 for 循环的调用。这意味着生成器内部的状态（局部变量）会在暂停期间保持不变。
3. 迭代器协议：生成器可以实现迭代器的所有功能，包括 __next__() 和 __iter__() 方法。可以通过使用 __iter__() 方法返回自身实例来实现无限迭代器。
4. 不可重复性：生成器是一次性的。一旦迭代完成，生成器就会耗尽，无法再次从头开始迭代。如果需要多次迭代，需要重新创建生成器对象。
5. 性能权衡：虽然生成器节省内存，但在某些频繁访问数据的场景下，列表可能比生成器更快，因为列表已经全部在内存中，而生成器每次访问都需要恢复上下文。
6. 错误处理：生成器内部抛出异常可能会中断整个迭代过程，建议在生成器内部妥善处理可能的异常情况。

通过准确地使用生成器，可以极大地提高程序的效率和可读性。掌握生成器的核心机制，有助于编写更高效、更优雅的 Python 代码。

七、总结

生成器是 Python 语言中处理数据流的重要工具。通过理解其定义方式、核心机制以及高级控制方法，开发者可以在内存受限或需要处理大规模数据的场景中做出更优的选择。无论是简单的序列生成，还是复杂的协程调度，生成器都提供了强大的支持。在实际开发中，应结合具体需求，合理选择使用生成器或普通迭代器，以达到最佳的性能和可维护性。