Redis - 大厂程序员是怎么用的 | 青训营笔记

writiger
62 阅读5分钟

这是我参与「第五届青训营 」笔记创作活动的第17天

重点内容

  1. Redis是什么
  2. Redis应用案例
  3. Redis使用注意事项

知识点介绍

Redis是什么

为什么需要Redis

  • 数据从单表，演进出了分库分表

  • MySQL从单机演进出了集群

    • 数据量的增长
    • 读写压力的不断增加

  • 数据分冷热

    • 热数据：经常被访问到的数据

  • 将数据存储到内存之中

Redis基本工作原理

  • 数据从内存中读写
  • 数据保存到硬盘上防止重启数据丢失
    • 增量数据保存到AOF文件
    • 单线程处理所有操作命令

Redis应用案例

连续签到

​ 用户每日有一次签到的机会，如果断签，连续签到计数将归零 。连续签到的定义：每天必须在23

:59:59

  • Key：cc_uid_12757904172124
  • value：252
  • expireAt：后天的0点

消息通知

​ 用list作为消息队列

  • 当文章更新时，将更新后的文章推送到ES，用户就能搜索到最新的文章数据

计数

​ 一个用户有多项计数需求，可通过hash结构存储

排行榜

​ 积分变化时，排名要实时更新

限流

​ 要求1秒内放行的请求为N，超过N则禁止访问

Key：comment_freq_limit_1671356046

对这个key调用incr，超过限制N则禁止访问

1671356046是当前时间戳

分布式锁

​ 并发执行场景，要求一次只能有一个协程执行。执行完成后，其他等待中的协程才能执行

可以使用redis的setnx实现，利用了两个特征

  • redis是单线程执行命令
  • setnx只有未设置过才能执行成功

Redis使用注意事项

大Key

大Key的定义

  • String类型，value的字节数大于10KB即为大Key
  • Hash/Set/Zset/list等复杂数据结构类型，元素个数大于5000个或总value字节数大于10MB即为大Key

大Key的危害

  • 读取成本高
  • 容易导致慢查询（过期、删除）
  • 主从复制异常，服务阻塞无法正常相应请求

业务侧使用大Key的表现

  • 请求Redis超时报错

消除大Key的方法

  1. 拆分

    将大Key拆分为小Key。例如一个String拆分成多个String

    article:70011 -> avghfjdklghsjfk

    ——

    article:70011 -> [3]avgh

    article:70011_2 -> fjdklg

    article:70011_3 -> hsjfk

  2. 压缩

    读取时解压后再使用。压缩算法可以是gzip、snappy、Iz4等。通常情况将value压缩后写入redis，一个压缩算法压缩率高、则解压耗时就长。需要对实际数据进行测试后，选择一个合适的算法。如果存储的是JSON字符串，可以考虑使用MessagePack进行序列化。

  3. 集合类结构hash、list、set

    （1）拆分：可以用hash取余、位掩码的方式决定放在那个key中

    （2）区分冷热：如榜单列表场景使用zset，只缓存前10页数据

热Key

解决热Key的方法

​ 用户访问一个Key的QPS特别高，导致Server实例出现CPU负载突增或者不均的情况。热key没有明确的标准，QPS 超过500就有可能被识别为热Key

设置Localcache

​ 在访问Redis前，在业务服务侧设置Localcache，降低访问Redis的OPS。LocalCache中缓存过期或未命中，则从Redis中将数据更新到LocalCache。Java的Guava、Golang的Bigcache就是这类LocalCache

拆分

​ 将key:value这一个热Key复制写入多份，例如key1:value,key2:value， 访问的时候访问多个key，但value是同以此将gps分散到不同实例上，降低负载。代价是，更新时需要更新多个key，存在数据短暂不一致的风险

慢查询场景

容易导致慢查询的操作

  1. 批量操作一次性传入过多的key/value，如mset/hmset/sadd/zadd等O(n)操作 建议单批次不要超过100，超过100之后性能下降明显。
  2. zset大部分命令都是O(log(n)，当大小超过5k以上时，简单的zadd/zrem也可能导致慢查询
  3. 操作的单个value过大，超过10KB。也即，避免使用大Key
  4. 对大key的delete/expire操作也可能导致慢查询，Redis4.0之前不支持异步删除unlink， 大key删除会阻塞Redis

缓存穿透、缓存雪崩

​ 缓存穿透: 热点数据查询绕过缓存，直接查询数据库

​ 缓存雪崩: 大量缓存同时过期

缓存穿透的危害

  1. 查询一定不存在的数据

​ 这类查询请求都会直接打到db，如果有系统bug或人为攻击通常不会缓存不存在的数据，那么容易导致db响应慢甚至宕机

  1. 缓存过期时

​ 在高并发场景下，一个热key如果过期，会有大量请求同时击穿至db，容易影响db性能和稳定同一时间有大量kev集中过期时，也会导致大量请求落到d上，导致查询变慢，甚至出现db无法响应新的查询

如何减少缓存穿透

  1. 缓存空值

​ 如一个不存在的userlD。这个id在缓存和数据库中都不存在。则可以缓存一个空值，下次再查缓存直接反空值

2. 布隆过滤器

​ 通过bloom filter算法来存储合法Key，得益于该算法超高的压缩率，只需占用极小的空间就能存储大量key值

如何避免缓存雪崩

  1. 缓存空值

​ 将缓存失效时间分散开，比如在原有的失效时间基础上增加一个随机值，例如不同Key过期时间可以设置为 10分1秒过期，10分23秒过期，10分8秒过期。单位秒部分就是随机时间，这样过期时间就分散了对于热点数据，过期时间尽量设置得长一些，冷门的数据可以相对设置过期时间短一些。

  1. 使用缓存集群，避免单机宕机造成的缓存雪崩
avatar
文章
阅读
粉丝