Redis背景
- 数据从单表,演化出了数据分表;
- MySQL从单机演进出了集群
- 数据量增长
- 读写数据的压力不断增加
- 数据冷热分离,将热数据存储在内存中可以大大提高访问速度
Redis基本工作原理
- 数据从内存中读写
- 数据保存到硬盘上防止重启数据丢失
- 增量数据保存到AOF文件
- 单线程处理所有操作命令
Redis数据结构
String数据结构--sds
Redis 底层是 C语言实现的,但是 Redis 的 String数据对象并没有直接使用 C语言传统的字符串,而是自创了一套 SDS,用于 Redis 默认字符串表示。SDS(simple dynamic string),简单动态字符串。
SDS 的结构定义在 sds.h 文件中,每个 sds.h/sdshdr 结构表示一个 SDS 值,在 Redis 3.2 版本之后,SDS 由一种数据结构变成了 5 种数据结构,
sds特点
- 获取字符串长度复杂度。
C字符串不记录长度,获取长度必须遍历整个字符串,复杂度为O(N),SDS 在 len 属性中记录了 SDS 本身的长度, 获取 SDS 长度的复杂度为 O(1) ;
- 缓冲区溢出
SDS 通过未使用空间解除了字符串长度和底层数据长度的关联,3.0版本用 free属性记录未使用空间,3.2版本用 alloc属性记录总的分配字节数量。通过未使用空间,SDS实现了空间预分配和惰性空间释放两种优化的空间分配策略,解决了字符串拼接和截取的空间问题;
- 二进制安全
SDS 的 API 会以处理二进制的方式来处理存放在 bu f数组里的数据,不会对里面的数据做任何的限制。SDS 使用 len 属性来判断字符串是否结束,而不是空字符。
应用场景
数据缓存, 计数器, 共享session, 限速器, 连续签到等
List数据结构--QuickList0
Quicklist由一个双向链表和listpack实现
应用场景
使用场景:消息通知,栈,队列,动态有限集合
Set
Redis 存储数据的 Value 可以是一个 Set 集合,且集合中的每一个元素均 String 类型。Set 与 List 非常相似,但不同之处是 Set 中的元素具有无序性与不可重复性,而 List 则具有有序 性与可重复性。
Redis 中的 Set 集合与 Java 中的 Set 集合的实现相似,其底层都是 value 为 null 的 hashtable。
应用场景
动态黑白名单,有限随机数,用户画像。
Hash
Hash数据结构主要是dict。
rehash:rehash操作是将ht[o]中的数据.全部迁移到ht[1]中。数据量小的场景下,直接将数据从ht[O]拷贝到ht[1]速度是较快的 数据量大的场景,例如存有上百万的KV 时,迁移过程将会明显阻塞用户请求。 渐进式rehash:为避免出现这种情况,使用了rehash方案。基本原理就是,每次用户访问时都会迁移少量数据。将整个迁移过程,平摊到所有的访问用不请求过程中。
应用场景
- 计数
ZSet
Redis 存储数据的 Value 可以是一个有序 Set,这个有序 Set 中的每个元素均 String 类型。 有序 Set 与 Set 的不同之处是,有序 Set 中的每一个元素都有一个分值 score,Redis 会根据 score 的值对集合进行由小到大的排序。其与 Set 集合要求相同,元素不能重复,但元素的 score 可以重复。