欢迎大家关注 github.com/hsfxuebao ，希望对大家有所帮助，要是觉得可以的话麻烦给点一下Star哈
1. 为什么引入布隆过滤器？
现有50亿个电话号码，现有10万个电话号码，要快速准确判断这些电话号码是否已经存在？
- 通过数据库查询：实现快速有点难
- 数据预放在集合中：50亿 * 8字节 ~40GB (内存浪费或不够)
- hyperloglog：但是准确度不高
类似问题很多
- 垃圾邮件过滤
- 文字处理中的错误单词检测
- 网络爬虫重复URL检测
- 会员抽奖
- 判断一个元素在亿级数据中是否存在
- 缓存穿透
2. 什么是布隆过滤器？
布隆过滤器（英语：Bloom Filter）是 1970 年由布隆提出的。 它实际上是一个很长的二进制数组+一系列随机hash算法映射函数，主要用于判断一个元素是否在集合中。
通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景，一般想到的是将集合中所有元素保存起来，然后通过比较确定。 链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。
但是随着集合中元素的增加，我们需要的存储空间也会呈现线性增长，最终达到瓶颈。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为O(n),O(logn),O(1)。这个时候，布隆过滤器（Bloom Filter）就应运而生。
总结：
- 由一个初值都为零的bit数组和多个哈希函数构成，用来快速判断某个数据是否存在
- 本质就是判断具体数据存不存在一个大的集合中
- 布隆过滤器类似set的数据结构，只是统计结构不太准确
特点：
- 高效的插入和查询，占用空间少，返回的结果是不确定性的
一个元素如果判断结果为存在的时候元素不一定存在，但是判断为不存在的时候则一定不存在- 可以添加元素，
但是不能删除元素，因为删除元素会导致误判率增加 - 误判只会发生在过滤器没有添加过的元素，对于添加过的元素不会发生误判
3. 基本原理
3.1 Java中传统hash
哈希函数的概念是：将任意大小的输入数据转换成特定大小的输出数据的函数，转换后的数据称为哈希值或哈希编码，也叫散列值
如果两个散列值是不相同的（根据同一函数）那么这两个散列值的原始输入也是不相同的。 这个特性是散列函数具有确定性的结果，具有这种性质的散列函数称为单向散列函数。
散列函数的输入和输出不是唯一对应关系的， 如果两个散列值相同，两个输入值很可能是相同的，但也可能不同，这种情况称为“散列碰撞（collision）”。
用 hash表存储大数据量时，空间效率还是很低，当只有一个 hash 函数时，还很容易发生哈希碰撞。
3.2 实现原理和数据结构
布隆过滤器(Bloom Filter) 是一种专门用来解决去重问题的高级数据结构。 实质就是 一个大型 位数组和几个不同的无偏hash函数 (无偏表示分布均匀)。由一个初值都为零的bit数组和多个个哈希函数构成，用来快速判断某个数据是否存在 。但是跟 HyperLogLog 一样，它也一样有那么一点点不精确，也存在一定的误判概率。
添加key
使用多个hash函数对key进行hash运算得到一个整数索引值，对位数组长度进行取模运算得到一个位置， 每个hash函数都会得到一个不同的位置，将这几个位置都置1就完成了add操作。
当有变量被加入集合时，通过N个映射函数将这个变量映射成位图中的N个点， 把它们置为 1（假定有两个变量都通过 3 个映射函数）。
查询key
查询某个变量的时候我们只要看看这些点是不是都是 1， 就可以大概率知道集合中有没有它了。如果这些点， 有任何一个为零则被查询变量一定不在， 如果都是 1，则被查询变量很 可能存在。
为什么说是可能存在，而不是一定存在呢？ 那是因为映射函数本身就是散列函数，散列函数是会有碰撞的。
3.3 使用步骤
初始化
布隆过滤器 本质上 是由长度为 m 的位向量或位列表（仅包含 0 或 1 位值的列表）组成，最初所有的值均设置为
添加
当我们向布隆过滤器中添加数据时，为了尽量地址不冲突， 会使用多个 hash 函数对 key 进行运算 ，算得一个下标索引值，然后对位数组长度进行取模运算得到一个位置，每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就完成了 add 操作。
例如，我们添加一个字符串wmyskxz:
判断是否存在
向布隆过滤器查询某个key是否存在时，先把这个 key 通过相同的 多个 hash 函数进行运算 ，查看对应的位置是否都为 1， 只要有一个位为 0，那么说明布隆过滤器中这个 key 不存在； 如果这几个位置全都是 1，那么说明极有可能存在； 因为这些位置的 1 可能是因为其他的 key 存在导致的，也就是前面说过的hash冲突。
例子：我们在 add 了字符串wmyskxz数据之后，很明显下面1/3/5 这几个位置的 1 是因为第一次添加的 wmyskxz 而导致的； 此时我们查询一个没添加过的不存在的字符串inexistent-key，它有可能计算后坑位也是1/3/5 ，这就是误判了。
3.4 误判率，为什么不能删除元素？
布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位置1了，这样就无法判断究竟是哪个输入产生的， 因此误判的根源在于相同的 bit 位被多次映射且置 1。
这种情况也造成了布隆过滤器的删除问题，因为布隆过滤器的每一个 bit 并不是独占的，很有可能多个元素 共享了某一位 。 如果我们直接删除这一位的话，会影响其他的元素。
3.5 总结
- 是否存在
- 有，是很可能有
- 无，是肯定无
- 使用时最好不要让实际元素数量大于初始化数量
- 当实际元素数量超过初始化数量时，应该对布隆过滤器进行重建，重新分配一个size 更大的过滤器，再将所有的历史元素批量add进行
3.6 常用命令
在Redis中，布隆过滤器有两个基本命令，分别是：
bf.add：添加元素到布隆过滤器中，类似于集合的sadd命令，不过bf.add命令只能一次添加一个元素，如果想一次添加多个元素，可以使用bf.madd命令。bf.exists：判断某个元素是否在过滤器中，类似于集合的sismember命令，不过bf.exists命令只能一次查询一个元素，如果想一次查询多个元素，可以使用bf.mexists命令。
比如：
> bf.add one-more-filter fans1
(integer) 1
> bf.add one-more-filter fans2
(integer) 1
> bf.add one-more-filter fans3
(integer) 1
> bf.exists one-more-filter fans1
(integer) 1
> bf.exists one-more-filter fans2
(integer) 1
> bf.exists one-more-filter fans3
(integer) 1
> bf.exists one-more-filter fans4
(integer) 0
> bf.madd one-more-filter fans4 fans5 fans6
1) (integer) 1
2) (integer) 1
3) (integer) 1
> bf.mexists one-more-filter fans4 fans5 fans6 fans7
1) (integer) 1
2) (integer) 1
3) (integer) 1
4) (integer) 0
上面的例子中，没有发现误判的情况，是因为元素数量比较少。当元素比较多时，可能就会发生误判，怎么才能减少误判呢？
上面的例子中使用的布隆过滤器只是默认参数的布隆过滤器，它在我们第一次使用bf.add命令时自动创建的。Redis还提供了自定义参数的布隆过滤器，想要尽量减少布隆过滤器的误判，就要设置合理的参数。
在使用bf.add命令添加元素之前，使用bf.reserve命令创建一个自定义的布隆过滤器。bf.reserve命令有三个参数，分别是：
key：键error_rate：期望错误率，期望错误率越低，需要的空间就越大。capacity：初始容量，当实际元素的数量超过这个初始化容量时，误判率上升。
比如：
> bf.reserve one-more-filter 0.0001 1000000
OK
如果对应的key已经存在时，在执行bf.reserve命令就会报错。如果不使用bf.reserve命令创建，而是使用Redis自动创建的布隆过滤器，默认的error_rate是 0.01，capacity是 100。
布隆过滤器的error_rate越小，需要的存储空间就越大，对于不需要过于精确的场景，error_rate设置稍大一点也可以。布隆过滤器的capacity设置的过大，会浪费存储空间，设置的过小，就会影响准确率，所以在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避免实际元素可能会意外高出设置值很多。总之，error_rate和 capacity都需要设置一个合适的数值。
4. 优缺点
优点：
- 高效得插入和查询，占用空间少
缺点：
- 不能删除元素，因为删除元素会导致误判率增加，因为hash冲突同一个位置可能存的东西是多个共有的，删除一个元素的同时可能也把其他的删除了
- 存在误判，不同的数据可能出来相同的hash值
5. 布谷鸟过滤器（了解）
为了解决布隆过滤器不能删除元素的问题 ，布谷鸟过滤器横空出世。论文《Cuckoo Filter：Better Than Bloom》
作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。相比布谷鸟过滤器而言布隆过滤器有以下不足： 查询性能弱、空间利用效率低、不支持反向操作（删除）以及不支持计数
6. 代码示例
6.1 本地布隆过滤器
现有库：guava ，代码如下：
public class GuavaBloomfilterDemo {
public static final int _1W = 10000;
//布隆过滤器里预计要插入多少数据
public static int size = 100 * _1W;
//误判率,它越小误判的个数也就越少(思考，是不是可以设置的无限小，没有误判岂不更好)
public static double fpp = 0.01;
/**
* helloworld入门
*/
public void bloomFilter() {
// 创建布隆过滤器对象
BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 100);
// 判断指定元素是否存在
System.out.println(filter.mightContain(1));
System.out.println(filter.mightContain(2));
// 将元素添加进布隆过滤器
filter.put(1);
filter.put(2);
System.out.println(filter.mightContain(1));
System.out.println(filter.mightContain(2));
}
/**
* 误判率演示+源码分析
*/
public void bloomFilter2() {
// 构建布隆过滤器
BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(),size,fpp);
//1 先往布隆过滤器里面插入100万的样本数据
for (int i = 0; i < size; i++) {
bloomFilter.put(i);
}
/* List<Integer> listSample = new ArrayList<>(size);
//2 这100万的样本数据，是否都在布隆过滤器里面存在？
for (int i = 0; i < size; i++)
{
if (bloomFilter.mightContain(i)) {
listSample.add(i);
continue;
}
}
System.out.println("存在的数量：" + listSample.size());*/
//3 故意取10万个不在过滤器里的值，看看有多少个会被认为在过滤器里,误判率演示
List<Integer> list = new ArrayList<>(10 * _1W);
for (int i = size+1; i < size + 100000; i++) {
if (bloomFilter.mightContain(i)) {
System.out.println(i+"\t"+"被误判了.");
list.add(i);
}
}
System.out.println("误判的数量：" + list.size());
}
public static void main(String[] args) {
new GuavaBloomfilterDemo().bloomFilter();
}
本地布隆过滤器的问题：
- 容量受限制
- 多个应用存在多个布隆过滤器，构建同步复杂。
6.2 Redis布隆过滤器
基于redis集群实现，使用redisson实现，代码如下：
public class RedissonBloomFilterDemo {
public static final int _1W = 10000;
//布隆过滤器里预计要插入多少数据
public static int size = 100 * _1W;
//误判率,它越小误判的个数也就越少
public static double fpp = 0.03;
static RedissonClient redissonClient = null;//jedis
static RBloomFilter rBloomFilter = null;//redis版内置的布隆过滤器
static {
Config config = new Config();
config.useSingleServer().setAddress("redis://192.168.111.147:6379").setDatabase(0);
//构造redisson
redissonClient = Redisson.create(config);
//通过redisson构造rBloomFilter
rBloomFilter = redissonClient.getBloomFilter("phoneListBloomFilter",new StringCodec());
rBloomFilter.tryInit(size,fpp);
// 1测试 布隆过滤器有+redis有
//rBloomFilter.add("10086");
//redissonClient.getBucket("10086",new StringCodec()).set("chinamobile10086");
// 2测试 布隆过滤器有+redis无
//rBloomFilter.add("10087");
//3 测试 ，布隆过滤器无+redis无
}
private static String getPhoneListById(String IDNumber) {
String result = null;
if (IDNumber == null) {
return null;
}
//1 先去布隆过滤器里面查询
if (rBloomFilter.contains(IDNumber)) {
//2 布隆过滤器里有，再去redis里面查询
RBucket<String> rBucket = redissonClient.getBucket(IDNumber, new StringCodec());
result = rBucket.get();
if(result != null) {
return "i come from redis: "+result;
}else{
result = getPhoneListByMySQL(IDNumber);
if (result == null) {
return null;
}
// 重新将数据更新回redis
redissonClient.getBucket(IDNumber, new StringCodec()).set(result);
}
return "i come from mysql: "+result;
}
return result;
}
private static String getPhoneListByMySQL(String IDNumber) {
return "chinamobile"+IDNumber;
}
public static void main(String[] args) {
//String phoneListById = getPhoneListById("10086");
//String phoneListById = getPhoneListById("10087"); //请测试执行2次
String phoneListById = getPhoneListById("10088");
System.out.println("------查询出来的结果： "+phoneListById);
//暂停几秒钟线程
try {
TimeUnit.SECONDS.sleep(1);
}catch (InterruptedException e) {
e.printStackTrace();
}
redissonClient.shutdown();
}
}
6.3 Rebloom插件布隆过滤器
redis4.0 之后支持插件支持布隆过滤器 git开源项目：github.com/RedisBloom/…
安装rebllom插件，执行 bf.add bf.exists命令即可。
7. 应用场景
解决缓存穿透的问题
一般情况下，先查询缓存是否有该条数据，缓存中没有时，再查询数据库。当数据库也不存在该条数据时，每次查询都要访问数据库，这就是缓存穿透。缓存穿透带来的问题是，当有大量请求查询数据库不存在的数据时，就会给数据库带来压力，甚至会拖垮数据库。
可以使用布隆过滤器解决缓存穿透的问题，把已存在数据的key存在布隆过滤器中。当有新的请求时，先到布隆过滤器中查询是否存在，如果不存在该条数据直接返回；如果存在该条数据再查询缓存查询数据库。
黑名单校验
发现存在黑名单中的，就执行特定操作。比如：识别垃圾邮件，只要是邮箱在黑名单中的邮件，就识别为垃圾邮件。假设黑名单的数量是数以亿计的，存放起来就是非常耗费存储空间的，布隆过滤器则是一个较好的解决方案。把所有黑名单都放在布隆过滤器中，再收到邮件时，判断邮件地址是否在布隆过滤器中即可。
