Redis-大厂程序员是怎么用的 | 青训营

37 阅读4分钟

一、什么是Redis

1、为什么需要Redis

(1)数据从单表,演进出了分库分表

(2)MySQL从单机演进出了集群

  • 数据量增长
  • 读写数据压力的不断增加

(3)数据分冷热

  • 热数据:经常被访问的数据

(4)将热数据存储到内存中

2、Redis基本工作原理

image.png

二、Redis应用案例

1、连续签到

掘金每日连续签到

用户每日有一次签到机会,若断签,连续签到计数将归0。

连续签到的定义:每天必须在23:59:59前签到

  • key:cc_uid_1165894833417101
  • value:252
  • expireAt:后天0点

String数据结构:

数据结构-sds

  • 可以存储字符串、数字、二进制数据
  • 通常和expire配合使用
  • 场景:存储计数、session

image.png

2、消息通知

用list作为消息队列

使用场景:

例如当文章更新时,将更新后的文章推送到ES,用户就能搜索到最新的文章数据。

image.png

List数据结构Quicklist:

Quicklist由一个双向链表和listpack实现。

image.png

Listpack数据结构:

image.png

3、计数

一个用户有多项计数需求,可通过hash结构存储。

image.png

Hash数据结构dict:

  • rehash:rehash操作是将ht[0]中的数据,全部迁移到ht[1]中。数据量小的场景下,直接将数据从ht[0]拷贝到ht[1]速度是较快的。数据量大的场景,例如存在有上百万的K-V时,迁移过程会有明显阻塞用户请求。
  • 渐进式rehash:为避免出现这种情况,使用了rehash方案。基本原理:每次用户访问时都会迁移少量数据。将整个迁移过程,平摊到所有的访问用户请求过程中。

image.png

4、排行榜

积分变化时,排名实时变更。

image.png

zset数据结构zskiplist:

  • 查找数字7的路径,head,3,3,7
  • 结合dict后,可实现通过key操作跳表的功能 ZINCRBY myzset 2 "Alex"

ZSCORE myzset "Alex"

image.png

5、限流

要求1秒内放行的请求为N,超过N则禁止访问

key:comment_freq_limit_1671356046

对这个key调用incr,超过限制N则禁止访问

1671356046是当前时间戳

image.png

6、分布锁

并发场景,要求一次只能有一个协程执行。

执行完成后,其他等待中的协程才可执行。

可以使用redis的setnx实现,利用了两个特性:

  • redis是单线程执行命令
  • setnx只有未设置过才能执行成功

image.png

三、redis使用注意事项

1、大key

(1)大key的定义

image.png

(2)大key的危害

  • 读取成本高
  • 容易导致慢查询(过期、删除)
  • 主从复制异常,服务阻塞,无法正常响应请求

image.png

(3)消除大key的方法

  • 拆分

将大key拆分成小Key,比如将一个string拆分成多个string

image.png

  • 压缩

将value压缩后写入redis,读取时解压后再使用。压缩算法可以是gzip、snappy、lz4等。通常情况下,一个压缩算法压缩率高,则解压耗时就长。

需要对实际数据测试后才能选择一个合适的算法。

若存储的是JSON字符串,可以考虑使用MessagePack进行序列化。

  • 集合类结构hash、list、set

拆分:可以用hash取余、位掩码的方式决定放在哪个key中

区分冷热:如榜单列表场景使用zset,只缓存前10页数据,后续数据走db

2、热key

(1)热key的定义

用户访问一个key的QPS特别高,导致Server实例出现CPU负载突增或不均的情况。

热key没有明确的标准,QPS超过500就可能被识别为热key。 image.png

(2)解决热key方法

  • 拆分

将key:value这一个热key复制写入多分,如key1:value,key2:value,访问的时候访问多个Key,但value是同一个

以此将qps分散到不同实例上,降低负载。代价是,更新时需要更新多个key,存在数据短暂不一致的风险。

image.png

  • 使用redis代理的热key承载能力

字节跳动的redis访问代理具备热key承载能力。本质上是结合了热key发现、LocalCache两个功能。

image.png