在 Python 中，“按值批量删除” 并 “去重” 的核心是 先筛选出不需要删除的元素，再通过集合（set）自动去重。以下是 4 种常用实现方式，覆盖不同场景（是否保留原顺序、是否修改原列表、效率要求），附带代码示例和详细解析：
一、核心需求拆解
- 按值批量删除：给定要删除的多个值（如
[2,3,5]），从列表中移除所有匹配的元素； - 去重：最终结果列表中不包含重复元素（即使原列表有重复的保留元素）；
- 可选需求：是否保留原列表的元素顺序、是否允许修改原列表、是否需要高效处理大数据量。
二、4 种实现方式（按推荐优先级排序）
方式 1：列表推导式 + set（推荐，保留顺序 + 高效）
核心逻辑
用列表推导式筛选出 “不在删除值列表” 中的元素，再通过 dict.fromkeys() 或 OrderedDict 去重并保留原顺序（Python 3.7+ 后 dict 有序）。
代码示例
python
运行
# 原列表
nums = [1, 2, 3, 2, 4, 5, 5, 6, 3, 7, 7]
# 要删除的值
del_values = {2, 3, 5} # 用 set 存储，查找效率 O(1)（推荐）
# 步骤 1：筛选出不删除的元素（保留原顺序）
filtered = [x for x in nums if x not in del_values]
# 步骤 2：去重并保留原顺序（Python 3.7+）
result = list(dict.fromkeys(filtered)) # dict.fromkeys() 自动去重，保留插入顺序
print(result) # 输出：[1, 4, 6, 7]（保留原顺序，无重复）
原理
- 列表推导式
[x for x in nums if x not in del_values]：遍历原列表，仅保留不在del_values中的元素（保留原顺序），时间复杂度 O (n)； dict.fromkeys(filtered)：用筛选后的列表作为字典的键，字典的键自动去重，且 Python 3.7+ 后保留键的插入顺序（即原列表顺序），时间复杂度 O (m)（m 为筛选后列表长度）；- 整体时间复杂度 O (n + m) = O (n)（高效）。
优点
-
保留原元素顺序（符合日常需求）；
-
效率高（筛选和去重都是线性时间）；
-
语法简洁，一行可完成（合并步骤）：
python
运行
result = list(dict.fromkeys([x for x in nums if x not in del_values]))
适用场景
- 日常开发中 “按值批量删 + 去重 + 保留顺序” 的核心场景（90% 以上场景适用）。
方式 2：set 差集（最快，不保留顺序）
核心逻辑
将原列表和删除值列表都转为 set，通过集合差集直接获取 “保留的元素”，再转回列表（set 自动去重，但无序）。
代码示例
python
运行
nums = [1, 2, 3, 2, 4, 5, 5, 6, 3]
del_values = {2, 3, 5}
# 步骤 1：转为 set，求差集（自动去重+删除指定值）
result_set = set(nums) - del_values # 差集：nums 中不在 del_values 的元素
# 步骤 2：转回列表（无序）
result = list(result_set)
print(result) # 输出：[1, 4, 6]（顺序不固定，自动去重）
原理
set(nums)：原列表转集合，自动去重（时间复杂度 O (n)）；set(nums) - del_values：集合差集运算，获取保留的元素（时间复杂度 O (min (n, k))，k 为删除值个数）；- 整体时间复杂度 O (n)，是所有方式中最快的。
优点
-
速度极快（集合运算底层优化）；
-
代码极简（一行可完成）：
python
运行
result = list(set(nums) - {2, 3, 5})
缺点
- 不保留原列表的元素顺序（
set是无序结构）； - 自动去重（若需保留重复元素，不适用）。
适用场景
- 无需保留原顺序，仅需 “快速删除指定值 + 去重” 的场景（如数据清洗、标签过滤）。
方式 3：倒序遍历 + pop ()（修改原列表，保留顺序）
核心逻辑
倒序遍历原列表，若元素在删除值列表中，用 pop() 删除（倒序避免索引错乱），同时用 set 记录已保留的元素，实现去重。
代码示例
python
运行
nums = [1, 2, 3, 2, 4, 5, 5, 6, 3, 7, 7]
del_values = {2, 3, 5}
seen = set() # 记录已保留的元素，用于去重
# 倒序遍历（索引从 len(nums)-1 到 0）
for i in range(len(nums)-1, -1, -1):
current = nums[i]
# 条件：1. 元素不在删除值列表；2. 元素未被保留过（去重）
if current in del_values or current in seen:
nums.pop(i) # 删除元素（倒序不影响索引）
else:
seen.add(current) # 记录已保留的元素
print(nums) # 输出：[1, 4, 6, 7]（保留原顺序，修改原列表）
原理
- 倒序遍历：避免正序删除导致的索引偏移（删除后面的元素不影响前面的索引）；
seen集合：记录已保留的元素，再次出现时直接删除（实现去重）；pop(i)：删除当前索引元素，时间复杂度 O (n)（非末尾元素需移动后续元素），但因倒序，移动次数较少。
优点
- 直接修改原列表（无额外内存占用，适合大数据量）；
- 保留原元素顺序。
缺点
- 时间复杂度 O (n²)（最坏情况，如删除大量元素时多次
pop移动）； - 代码较繁琐（需维护
seen集合和倒序遍历）。
适用场景
- 需修改原列表，且内存敏感（如超大列表，无法生成新列表）的场景。
方式 4：pandas 库（大数据量 + 高效，保留顺序）
核心逻辑
利用 pandas 库的 Series 数据结构，通过 isin() 筛选元素，drop_duplicates() 去重，适合处理十万级以上的大数据量。
代码示例
python
运行
import pandas as pd
nums = [1, 2, 3, 2, 4, 5, 5, 6, 3, 7, 7] * 1000 # 放大为 11000 个元素（模拟大数据）
del_values = {2, 3, 5}
# 步骤 1：转为 pandas Series
s = pd.Series(nums)
# 步骤 2：筛选出不在删除值列表的元素
filtered = s[~s.isin(del_values)] # ~ 表示取反
# 步骤 3：去重并保留原顺序
result = filtered.drop_duplicates().tolist()
print(result) # 输出：[1, 4, 6, 7]（保留原顺序，高效处理大数据）
原理
s.isin(del_values)：判断每个元素是否在删除值列表中，返回布尔 Series（时间复杂度 O (n)）；s[~s.isin(del_values)]：筛选出不删除的元素（保留原顺序）；drop_duplicates()：去重并保留首次出现的元素（时间复杂度 O (n)）；pandas底层用 C 语言优化，大数据量下效率远高于纯 Python 方法。
优点
- 大数据量处理极快（十万级以上元素优势明显）；
- 保留原顺序，语法简洁。
缺点
- 需安装
pandas库（非 Python 内置）； - 小数据量下（如几百个元素），因库调用开销，效率不如方式 1 和 2。
适用场景
- 数据分析、大数据处理场景（如处理 CSV 数据、日志数据中的批量删除 + 去重）。
三、不同场景的最优选择
| 场景描述 | 推荐方式 | 核心优势 |
|---|---|---|
| 日常场景（保留顺序 + 高效 + 简洁） | 方式 1（列表推导式 + set） | 兼顾顺序、效率和简洁性，适用面广 |
| 无需保留顺序（追求最快速度） | 方式 2（set 差集） | 速度极快，代码极简 |
| 内存敏感（超大列表，修改原列表） | 方式 3（倒序遍历 + pop） | 无额外内存占用 |
| 大数据量（十万级以上，保留顺序） | 方式 4（pandas） | 底层优化，效率远超纯 Python |
四、避坑重点
- 删除值用 set 存储：无论哪种方式，
del_values建议用set（如{2,3,5}），而非列表（[2,3,5]）——in操作在 set 中是 O (1)，列表中是 O (k)（k 为删除值个数），大数据量下差异明显； - 避免正序遍历删除：如
for num in nums: if num in del_values: nums.remove(num)，会导致索引偏移，元素漏删，且无法实现去重； - 去重并保留顺序的关键：Python 3.7+ 用
dict.fromkeys()，Python 3.6 及以下用collections.OrderedDict.fromkeys()（功能一致）； - pandas 适用于大数据：小数据量（如几千个元素）用方式 1 即可，无需引入 pandas（避免库依赖和调用开销）。
五、总结
- 日常开发优先选 方式 1（列表推导式 + set） ，兼顾顺序、效率和简洁性；
- 追求极致速度且无需顺序选 方式 2（set 差集） ；
- 内存敏感或必须修改原列表选 方式 3（倒序遍历 + pop） ；
- 大数据量处理选 方式 4（pandas） 。
根据实际需求（是否保留顺序、数据量、内存限制）选择合适的方式，即可高效实现 “按值批量删 + 去重”。
