Python yield生成器用法详解：从基础到高级实战

一、生成器核心概念

生成器是具有记忆功能的特殊迭代器，与普通函数的区别：

• 使用yield替代return
• 调用时返回生成器对象而非直接执行
• 支持__next__()方法和StopIteration协议

二、基础生成器示例

def number_generator(n):
    print("生成器启动")
    for i in range(n):
        yield i
        print(f"生成器恢复，i={i}")

# 使用生成器
gen = number_generator(3)
print("首次调用next():")
print(next(gen))  # 输出0

print("\n第二次调用next():")
print(next(gen))  # 输出1

print("\n第三次调用next():")
print(next(gen))  # 输出2

执行特点：每次next()执行到yield暂停，下次从暂停处继续

三、生成器高级用法

1. 数据管道处理

def data_pipeline():
    # 阶段1：数据读取
    data = (x for x in range(1000000))  # 生成器表达式
    
    # 阶段2：数据过滤
    filtered = (x for x in data if x % 2 == 0)
    
    # 阶段3：数据处理
    processed = (x * 2 for x in filtered)
    
    yield from processed  # Python 3.3+ 语法

# 使用管道
result = []
for item in data_pipeline():
    if item > 100: 
        break
    result.append(item)

print(result)  # [0, 4, 8, 12, ..., 100]

2. 协程与双向通信

def interactive_gen():
    total = 0
    while True:
        value = yield total  # 接收外部传入值
        if value is None:
            break
        total += value

# 使用协程
calc = interactive_gen()
next(calc)  # 启动生成器
print(calc.send(10))  # 输出10
print(calc.send(20))  # 输出30
print(calc.send(5))   # 输出35
calc.close()

四、生成器核心优势

五、实际应用场景

• 大文件处理：逐行读取GB级日志文件
• 流式数据处理：实时数据清洗和转换
• 无限序列：斐波那契数列生成
• 状态机实现：游戏AI行为树
• 异步编程基础：协程和asyncio

六、生成器表达式

# 列表推导式（立即求值）
list_comp = [x**2 for x in range(1000000)]  # 占用大量内存

# 生成器表达式（惰性求值）
gen_exp = (x**2 for x in range(1000000))   # 几乎不占内存

print(next(gen_exp))  # 0
print(next(gen_exp))  # 1

注意：生成器只能迭代一次，如需重用需重新创建

七、常见问题解决方案

gen = number_generator(5)
list(gen)  # [0,1,2,3,4]
# 无法再次使用，需要重建
new_gen = number_generator(5)

def mixed_usage():
    yield "First value"
    yield "Second value"
    return "Finished"  # 触发StopIteration异常

gen = mixed_usage()
print(next(gen))  # First value
print(next(gen))  # Second value
try:
    next(gen)
except StopIteration as e:
    print(e.value)  # 输出Finished

八、最佳实践总结

1. 大数据处理优先使用yield替代列表存储
2. 复杂状态机使用生成器代替类实现更简洁
3. 使用yield from简化嵌套生成器
4. 协程场景使用send()进行双向通信
5. 及时用close()释放生成器资源