引言： 生成器是 Python 中高效处理海量数据、节省内存的核心工具，属于迭代器的一种特殊实现，也是 “惰性计算” 思想的典型应用。相比于列表等容器一次性生成所有数据，生成器仅在迭代时逐个生成数据，极大降低内存占用，是处理大数据集、无限序列的首选方案。
一、生成器的核心特性
- 惰性生成：仅在调用
next()或迭代时生成下一个值，而非提前生成所有数据； - 内存高效：始终只保存当前生成值的状态，不存储完整数据集合；
- 一次性迭代：生成器迭代结束后无法重置，需重新创建生成器对象；
- 实现简单：支持两种定义方式（生成器函数、生成器表达式）。
二、生成器的两种实现方式
1. 生成器函数（最常用）
通过在函数中使用yield关键字替代return，函数执行到yield时会暂停并返回值，再次调用时从暂停位置继续执行。
基础示例：生成自然数序列
def natural_numbers(n):
"""生成1到n的自然数序列"""
num = 1
while num <= n:
# 暂停函数，返回当前num值
yield num
num += 1
# 创建生成器对象（此时函数未执行）
gen = natural_numbers(5)
# 方式1：通过next()逐个获取值
print(next(gen)) # 输出：1
print(next(gen)) # 输出：2
# 方式2：通过for循环迭代（推荐，自动处理StopIteration异常）
for i in gen:
print(i) # 输出：3 4 5
进阶示例：处理海量数据（模拟读取大文件）
def read_large_file(file_path, chunk_size=1024):
"""按块读取大文件，避免一次性加载到内存"""
with open(file_path, 'r', encoding='utf-8') as f:
while True:
# 每次读取指定大小的内容
chunk = f.read(chunk_size)
if not chunk:
break
yield chunk
# 迭代读取大文件（即使文件10GB+，内存占用也仅为chunk_size大小）
for chunk in read_large_file("large_data.txt"):
# 处理单块数据（如解析、统计）
print(f"处理数据块：{len(chunk)} 字节")
2. 生成器表达式（简洁版）
语法与列表推导式类似，将[]替换为()，直接生成生成器对象，适合简单逻辑的生成器。
基础示例：生成平方数序列
# 列表推导式（一次性生成所有数据，占用内存）
list_square = [x*x for x in range(1000000)]
print(f"列表占用内存：{list_square.__sizeof__()} 字节") # 内存占用大
# 生成器表达式（仅保存生成逻辑，几乎不占内存）
gen_square = (x*x for x in range(1000000))
print(f"生成器占用内存：{gen_square.__sizeof__()} 字节") # 内存占用极小
# 迭代生成器
for i in gen_square:
if i > 100:
break
print(i) # 输出：0 1 4 9 16 ... 100
三、生成器的核心应用场景
- 处理超大文件 / 数据集：如日志分析、数据清洗，避免一次性加载全部数据到内存；
- 生成无限序列：如实时数据流、定时任务触发序列（结合循环实现）；
def infinite_even_numbers():
"""生成无限偶数序列"""
num = 0
while True:
yield num
num += 2
# 迭代无限生成器（需手动终止）
gen = infinite_even_numbers()
for _ in range(5):
print(next(gen)) # 输出：0 2 4 6 8
- 协程与异步编程：Python 的
asyncio框架中，生成器是早期协程的基础实现； - 管道式数据处理：多个生成器串联，实现数据的分步处理（如数据清洗→转换→统计）。
四、生成器与列表的核心对比
| 特性 | 生成器 | 列表 |
|---|---|---|
| 内存占用 | 极小（仅保存状态） | 大（存储所有数据） |
| 数据生成时机 | 惰性生成（迭代时） | 立即生成（定义时） |
| 迭代次数 | 一次性 | 可多次迭代 |
| 适用场景 | 大数据集、无限序列 | 小数据集、需多次访问 |
五、关键注意事项
- 生成器迭代结束后会抛出
StopIteration异常，for循环会自动捕获并终止； - 无法通过索引访问生成器元素，仅支持顺序迭代；
- 若需重复使用生成器数据，可将其转换为列表（
list(gen)），但会失去内存优势； yield from可简化嵌套生成器的迭代（Python 3.3 + 支持）：
def gen1():
yield 1
yield 2
def gen2():
# 迭代gen1并返回其值，简化嵌套
yield from gen1()
yield 3
for i in gen2():
print(i) # 输出：1 2 3
