布隆过滤器(Bloom Filter)
一句话:它是一种”用极小内存判断元素在不在集合里“的结构,特点是:
不存在一定准,存在不一定准可能是误判。
一、它解决的问题?
场景:假设有 1 亿个 URL/用户ID/订单号,每次都需要回答“这个在不在里面?”
解决的方案可能有:
- 用Set/HashSet:存1亿条可能需要几GB的内存
- 查数据库:慢,还压库
- 布隆过滤器:几十MB的内存,还快,缺点是可能会误判
简洁来说,就是用极小的空间,快速进行判断,牺牲少量准确率换取速度与内存。
二、原理
结构
- 一个很长的位数组(bit array,全是 0)
- k 个不同的哈希函数
添加元素
加入 "张三":
hash1("张三") = 3 → 第 3 位置 1
hash2("张三") = 9 → 第 9 位置 1
hash3("张三") = 15 → 第 15 位置 1
查询元素
查询 "张三":
看第 3、9、15 位是不是都是 1
→ 全都是 1 → 可能"存在"(不一定真存在)
→ 有一个是 0 → 一定"不存在"(100% 准确)
关键结论
| 判断结果 | 准确性 |
|---|---|
| 说不存在 | 100% 准确(因为没有假阴性) |
| 说存在 | 可能误判(假阳性,False Positive) |
为什么会误判:别的元素恰好把这三个位置都置成了 1,你查的元素"借"了别人的 1,就被误判成存在。
三、核心特性
| 特性 | 说明 |
|---|---|
| 空间极小 | 每个元素只占几个 bit |
| 查询极快 | O(k),k 是哈希函数个数(常数) |
| 只增不减 | 不支持删除(删了会把别人的位置清掉) |
| 取不出元素 | 只能判断在不在,不能列出里面有什么 |
| 有误判率 | 可控(通常配 0.1% ~ 1%) |
原生布隆过滤器不支持删除:因为多个元素会共享同一个 bit 位,清空某元素的位会误影响其他元素的判断。
如果需要删除能力,可使用计数布隆过滤器(Counting Bloom Filter),每个位置用计数器代替单个 bit,但会增加空间开销。
四、误判率怎么控制?
误判率取决于三个参数:
| 参数 | 含义 |
|---|---|
| m | 位数组长度(越大误判越低) |
| k | 哈希函数个数(太多太少都不好,一般 4~8) |
| n | 已插入元素个数(越多误判越高) |
经验公式:约 10 bit / 元素 时,误判率约 1%。
// Guava 的用法:预估 100 万条,误判率 1%
BloomFilter<String> filter = BloomFilter.create(
Funnels.stringFunnel(StandardCharsets.UTF_8),
1_000_000, // 预计插入量
0.01 // 误判率
);
filter.put("张三");
filter.mightContain("张三"); // true
filter.mightContain("李四"); // 可能 false(一定不在),也可能 true(误判)
注意方法名是
mightContain("可能包含"),命名就提醒你有误判。
五、典型场景
| 场景 | 怎么用 |
|---|---|
| 防止缓存穿透 | 查缓存前先过布隆过滤器,不在就直接返回 |
| URL 去重(爬虫) | 判断这个链接爬过没有 |
| 黑名单 / 垃圾邮件过滤 | 快速排除"肯定不是"的 |
| 推荐系统去重 | 已推荐过的内容不再推 |
| 注册用户名查重 | 先挡掉肯定不存在的 |
解决缓存穿透(最经典)
问题:有人恶意查询不存在的 id(如 id=-1),缓存不命中 → 每次都打数据库
解决:
① 启动时把所有有效 id 灌进布隆过滤器
② 请求来了先查布隆过滤器
→ 说不存在 → 直接返回,不打库 ✅
→ 说存在 → 再走缓存/数据库
挡掉大量无效请求,保护数据库。
布隆过滤器可挡住绝大多数无效请求,但因存在假阳性,仍会有少量误判的无效请求穿透到数据库,属于 “大幅降低风险” 而非 “完全杜绝”。
六、在 Redis 里怎么用?
Redis 原生不支持,需要 RedisBloom 模块。
BF.ADD users "张三" # 添加
BF.EXISTS users "张三" # 判断(1=可能存在,0=一定不存在)
BF.MADD users "李四" "王五" # 批量添加
BF.MEXISTS users "李四" "赵六" # 批量判断
BF.RESERVE myfilter 0.01 1000000 # 创建:误判率 0.01,预计 100 万条
BF.INFO myfilter # 查看占用情况
小结
布隆过滤器:多位数组 + 多个哈希,说"不在"一定对,说"在"可能是骗你。
能加不能删,能查不能取,空间极小有误判。
最常用:挡缓存穿透,先过过滤器,不在就直接返回。