Redis | 青训营笔记

最多卷两次
147 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天

Redis | 青训营笔记

1. Redis是什么

1.1 为什么需要Redis
  • 数据从单表，演进除了分库分表
  • MySQL从单机演进出了集群
    • 数据量增长
    • 读写数据压力的不断增加
  • 数据分冷热
    • 热数据：经常被访问到的数据
  • 将热数据存储到内存中
1.2 Redis基本工作原理
  • 数据从内存中读写
  • 数据保存到硬盘上防止重启数据丢失
    • 增量数据保存到AOF文件
    • 全量数据RDB文件
  • 单线程处理所有操作命令

2. Redis应用案例

  1. 连续签到

    掘金每日连续签到：用户每日有一次签到的机会，如果断签，连续签到计数将归0。连续签到的定义为每天必须在23:59:59前签到，使用的数据结构如下：

    Key: cc_uid_1024
value: 252
expireAt: 后天的0点

    该场景下常用的数据结构为String：

    • 可以存储字符串、数字、二进制数据
    • 通常和expire配合使用
    • 场景：存储计数、Session

  2. 消息通知

    用list数据结构Quicklist作为消息队列，Quiklist由一个双向链表和listpack实现。使用场景为消息通知，如当文章更新时，将更新后的文章推送到ES，用户就能搜索到最新的文章数据。

  3. 计数

    一个用户有多项计数需求，可通过hash结构存储。Hash数据结构dict:

    • rehash：rehash操作是将ht[0]中的数据，全部迁移到ht[1]中。数据量小的场景下，直接将数据从ht[0]拷贝到ht[1]速度是较快的。数据量大的场景，迁移过程将会明显阻塞用户请求。
    • 渐进式rehash：为避免出现阻塞用户请求的情况，可以采用渐进式rehash。基本原理为，每次用户访问时都会迁移少量数据。将整个迁移过程，平摊到所有的访问用户请求过程中。

  4. 排行榜

    场景之一：积分变化时，排名要实时变更。常用的数据结构为zset数据结构zskiplist，结合dict，可实现通过Key操作跳表的功能。

  5. 分布式锁

    并发场景，要求一次只能有一个协程执行。执行完成后，其他等待中的协程才能执行。可以使用redis中的setnx实现，利用了两个特性：

    • Redis是单线程执行命令
    • setnx只有未设置过才能执行成功

3. Redis使用的注意事项

  1. 大Key、热Key

    • 大Key定义：对于String类型，value的字节数大于10KB即为大Key；Hash/Set/Zset/list等复杂数据结构类型，元素个数大于5000个或总value字节数大于10MB即为大Key
      • 读取成本高
      • 容易导致慢查询（过期、删除）
      • 主从复制异常，服务阻塞无法正常响应
      • 请求Redis超时报错等
    • 消除大Key方法：
      • 拆分：将大Key拆分成小key
      • 压缩：将value压缩后写入redis，读取时解压后再使用
      • 区分冷热数据，分别处理
    • 热Key定义：用户访问一个Key的QPS特别高，导致Server实例出现CPU负载突增或者不均的情况。
    • 热Key解决方案：
      • 设置LocalCache：访问Redis前，在业务服务侧设置LocalCache，降低访问Redis的QPS。LocalCache中缓存过期或未命中，则从Redis中将数据更新到LocalCache。
      • 拆分或复制
      • 使用Redis代理的热Key承载能力

  2. 慢查询

    容易导致慢查询的操作：

    • 批量操作一次性传入过多的key/value
    • zset大部分命令都是O(log(n))，当大小超过5K以上时，简单的查询也可能导致慢查询
    • 操作的单个value过大，超过10KB
    • 对大Key的delete/expire操作也可能导致慢查询

  3. 缓存穿透、缓存雪崩

    • 缓存穿透：热点数据查询绕过缓存，直接查询数据库
    • 缓存雪崩：大量缓存同时过期

    解决方案：

    • 缓存穿透：
      • 缓存空值
      • 布隆过滤器
    • 缓存雪崩
      • 缓存空值
      • 使用缓存集群，避免单机宕机造成的缓存雪崩
avatar
文章
阅读
粉丝