哈希函数

哈希函数

输入域无穷大
输出域有边界(1<<64)
输入相同的样本，一定得到相同的输出结果
不同的样本，有可能发生碰撞(结果相同)
在输入源样本量足够大的情况下，结果将在输出域上均匀分布。

哈希函数的离散性,能够打乱样本规律。

哈希函数实现的方式

通过大量的异或，交换。打乱原本的样本结构，放大样本差异。

生成不相关的hash函数

正常一个hash函数的结果h为16字节，每个字节为一个16进制(0~9,a~f中的)的任意值。将前8为作为h1，后8位作为h2。

通过h1 + k * h2生成一个新的结果。并且他将于原本的h无关。

哈希函数特性的使用

大任务(hash % n)分流成N个小任务。

经典哈希表

经典的哈希表结构通过数组+链表的结构实现

哈希表的结构

哈希表的本质是一个数组，数组中每一个元素称为一个箱子(bin)，箱子中存放的是链表，链表节点中存放的键值对。

哈希表存储的过程

根据 key 计算出它的哈希值 h。
假设箱子的个数为 n，那么这个键值对应该放在第 (h % n) 个箱子中。
哈希值h相同，通过链表存储在同一个箱子中。

自动扩容

当哈希表的效率因数组量过大造成损耗，进行扩容并重新简历哈希表

当某一个链表上的节点个数超过某个系数(负载因子)，将进行扩容。
扩容可以是离线的(在非活跃状态下进行扩容，重建哈希表，重建结束后再使用新的哈希表)

增删改查的时间复杂度

对key进行hash，通过下标寻址，查找一个短链表均为常数时间操作。

时间复杂度===》O(1)

设计RandomPool结构

【题目】设计一种结构，在该结构中有如下三个功能：

insert(key)：将某个key加入到该结构，做到不重复加入。

delete(key)：将原本在结构中的某个key移除。

getRandom()：等概率随机返回结构中的任何一个key。

【要求】 Insert、delete和getRandom方法的时间复杂度都是 O(1)

需要的结构：

两个哈希表，一个size变量计数

每次添加一个新的key23：

令size+1
将key23作为key，size作为value，记录在第一个hashMap中
将size作为key，key23作为value，记录在第二个haskMap中

读取随机key时，在第二个hashMap中用(1~size)作为key进行查询返回

删除key时，将末尾元素与删除元素的index互换，删除该元素。并将size-1。

布隆过滤器BloomFilter

布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

可以解决爬虫去重，黑名单问题。

实现一个bit类型数组，将数据容量扩容

建立一个[基础类型]类型的数组
一个Int类型可以表示成32bit的二进制数据，long类型则是64bit
一个[Int]数组将是普通数组的32倍容量

以一个100长度的Int数组([bit]长度为3200)arr为例，当我们想修改第3000个bit：

3000/32获得arr组的indexI
3000%32获得arr[indexI]下，[bit]想要修改的indexB
通过arr[indexI] = (arr[IndexI] | (1 << indexB))进行修改

1左移indexB个位置，将会变成00000010000这种形式。然后与原本的arr[IndexI]相交，对应位置将会被修改为1