一、什么是Redis
1、为什么需要Redis
(1)数据从单表,演进出了分库分表
(2)MySQL从单机演进出了集群
- 数据量增长
- 读写数据压力的不断增加
(3)数据分冷热
- 热数据:经常被访问的数据
(4)将热数据存储到内存中
2、Redis基本工作原理
二、Redis应用案例
1、连续签到
掘金每日连续签到
用户每日有一次签到机会,若断签,连续签到计数将归0。
连续签到的定义:每天必须在23:59:59前签到
- key:cc_uid_1165894833417101
- value:252
- expireAt:后天0点
String数据结构:
数据结构-sds
- 可以存储字符串、数字、二进制数据
- 通常和expire配合使用
- 场景:存储计数、session
2、消息通知
用list作为消息队列
使用场景:
例如当文章更新时,将更新后的文章推送到ES,用户就能搜索到最新的文章数据。
List数据结构Quicklist:
Quicklist由一个双向链表和listpack实现。
Listpack数据结构:
3、计数
一个用户有多项计数需求,可通过hash结构存储。
Hash数据结构dict:
- rehash:rehash操作是将ht[0]中的数据,全部迁移到ht[1]中。数据量小的场景下,直接将数据从ht[0]拷贝到ht[1]速度是较快的。数据量大的场景,例如存在有上百万的K-V时,迁移过程会有明显阻塞用户请求。
- 渐进式rehash:为避免出现这种情况,使用了rehash方案。基本原理:每次用户访问时都会迁移少量数据。将整个迁移过程,平摊到所有的访问用户请求过程中。
4、排行榜
积分变化时,排名实时变更。
zset数据结构zskiplist:
- 查找数字7的路径,head,3,3,7
- 结合dict后,可实现通过key操作跳表的功能 ZINCRBY myzset 2 "Alex"
ZSCORE myzset "Alex"
5、限流
要求1秒内放行的请求为N,超过N则禁止访问
key:comment_freq_limit_1671356046
对这个key调用incr,超过限制N则禁止访问
1671356046是当前时间戳
6、分布锁
并发场景,要求一次只能有一个协程执行。
执行完成后,其他等待中的协程才可执行。
可以使用redis的setnx实现,利用了两个特性:
- redis是单线程执行命令
- setnx只有未设置过才能执行成功
三、redis使用注意事项
1、大key
(1)大key的定义
(2)大key的危害
- 读取成本高
- 容易导致慢查询(过期、删除)
- 主从复制异常,服务阻塞,无法正常响应请求
(3)消除大key的方法
- 拆分
将大key拆分成小Key,比如将一个string拆分成多个string
- 压缩
将value压缩后写入redis,读取时解压后再使用。压缩算法可以是gzip、snappy、lz4等。通常情况下,一个压缩算法压缩率高,则解压耗时就长。
需要对实际数据测试后才能选择一个合适的算法。
若存储的是JSON字符串,可以考虑使用MessagePack进行序列化。
- 集合类结构hash、list、set
拆分:可以用hash取余、位掩码的方式决定放在哪个key中
区分冷热:如榜单列表场景使用zset,只缓存前10页数据,后续数据走db
2、热key
(1)热key的定义
用户访问一个key的QPS特别高,导致Server实例出现CPU负载突增或不均的情况。
热key没有明确的标准,QPS超过500就可能被识别为热key。
(2)解决热key方法
- 拆分
将key:value这一个热key复制写入多分,如key1:value,key2:value,访问的时候访问多个Key,但value是同一个
以此将qps分散到不同实例上,降低负载。代价是,更新时需要更新多个key,存在数据短暂不一致的风险。
- 使用redis代理的热key承载能力
字节跳动的redis访问代理具备热key承载能力。本质上是结合了热key发现、LocalCache两个功能。