这是我参与「第五届青训营」伴学笔记创作活动的第 17 天。
这节课主要讲述了Redis在大厂中是如何应用的。Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
Redis基本工作原理
为什么需要Redis?
-
数据从单表,演进出了分库分表
-
MySQL从单机演进出了集群
-
数据量增长
-
读写数据压力的不断增加
-
数据分冷热热数据:经常被访问到的数据
-
将热数据存储到内存中
基本工作原理
-
数据从内存中读写
-
数据保存到硬盘上防止重启数据丢失
-
增量数据保存到AOF文件
-
全量数据RDB文件
-
单线程处理所有操作命令
Redis用到的数据结构
String数据结构 - sds
- 可以存储字符串、数字、二进制数据
- 通常和expire
- 配合使用场景: 存储计数、Session
List数据结构 - QuickList
Quicklist由一个双向链表和listpack实现
Hash数据结构dict
rehash: rehash操作是将htlO]中的数据全部迁移到ht[1]中。数据量小的场景下直接将数据从ht0]拷贝到ht[1]速度是较快的。数据量大的场景,例如存有上百万的KV时,迁移过程将会明显阻塞用户请求。
渐进式rehash: 为避免出现这种情况,使用了rehash方案。基本原理就是,每次用户访问时都会迁移少量数据。将整个迁移过程,平摊到所有的访问用不请求过程中。
zskiplistzset数据结构
- 查找数字7的路径,head,3,3,7
- 结合dict后,可实现通过key操作跳表的功能
限流
- 要求1秒内放行的请求为N,超过N则禁止访问
- Key: comment freq_limit_1671356046
- 对这个Key调用incr,超过限制N则禁止访问 1671356046 是当前时间戳
分布式锁
并发场景,要求一次只能有一个协程执行执行完成后,其它等待中的协程才能执行。
可以使用redis的setnx实现,利用了两个特性
- Redis是单线程执行命令s
- etnx只有未设置过才能执行成功
Redis注意事项
- 大Key:Value大于10KB就是大Key,使用大Key将导致Redis系统不稳定
- 热Key:一个Key的QPS特别高,将导致Redis实例出现负载突增,负责均衡流量不均的情况。导致单实例故障
- 慢查询:大Key、热Kye的读写;一次操作过多的Key(mset/hmset/sadd/zadd)
- 导致缓存穿透、缓存雪崩的场景及避免方案