Redis学习 | 青训营笔记

109 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天

一、Redis是什么

1.1 why Redis?

因为数据量不断增长,数据库读写数据压力的不断增加

将热数据(经常被访问到的数据)存储到内存中,减少数据库的压力,相当于缓存一样。

1.2 基本工作原理

  • 数据从内存中读写
  • 数据保存到硬盘上防止重丢失
    • 增量数据保存到AOF文件
    • 全量数据RDB文件
  • 单线程处理所有操作命令

1.3 常见数据结构

1.3.1 String

1.png

  • 可以存储字符串、数字、二进制数据
  • 通常和expire配合使用
  • 场景:存储技术、Session

1.3.2 List数据结构Quicklist

2.png

  • Quicklist由一个双向链表和listpack实现
  • 用list作为消息队列
  • 使用场景:消息通知

1.3.3 Hash

3.png

  • 渐进式rehash(扩容):基本原理就是每次用户访问时都会迁移少量数据。将整个迁移过程,平摊到所有的访问用户请求过程中。
  • 通常用于多项计数

1.3.4 zset数据结构 zskiplist

4.png

  • 应用场景:排行榜

二、Redis注意事项

2.1 大Key、热Key

大key的危害:读取成本高;容易导致慢查询(过期、删除);主从复制异常,服务阻塞,无法正常响应请求。

解决方法:

  • 拆分:将大key拆分为小key。例如一个String拆分成多个String。
  • 压缩:将value压缩后写入redis,读取时解压后再使用。压缩算法可以是gzip、snappy、Iz4等。 通常情况下一个压缩算法压缩率高、则解压耗时就长。需要对实际数据进行测试后,选择一个合适的算法。如果存储的是JSON字符串,可以考虑使用MessagePack进行序列化。
  • 区分冷热:如榜单列表场景使用zset,只缓存前10页数据,后续数据走db。

热Key:用户访问一个Key的QPS特别高,导致Server 实例出现CPU负载突增或者不均的情况。热key没有明确的标准,QPS 超过500就有可能被识别为热Key。

解决方法:

  • 设置Localcache:在访问Redis前,在业务服务侧设置Localcache,降低访问Redis的QPS。LocalCache中缓存过期或未命中,则从Redis中将数据更新到LocalCache。Java的Guava、 Golang的Bigcache就是这类LocalCache。
  • 拆分:将key :value这一个热Key复制写入多份, 例如key1 :value key2: value,访问的时候访问多个key,但value是同一个,以此将qps分散到不同实例上,降低负载。代价是更新时需要更新多个key,存在数据短暂不一致的风险。

2.2 慢查询

容易导致redis慢查询的操作 (1)批量操作一次性传入过多的key/ value,如mset/hmset/sadd/zadd等0(n)操作建议单批次不要超过100,超过100之后性能下降明显。 (2) zset大部分命令都是(log(n)),当大小超过5k以上时,简单的zadd/zrem也可能导致慢查询。 (3)操作的单个value过大,超过10KB。 避免使用大Key。 (4)对大key的delete/ expire操作也可能导致慢查询,Redis4.0之前不支持异步删除unlink,大key删除会阻塞Redis。

2.3 缓冲穿透 缓冲雪崩

缓冲穿透:热点数据查询绕过缓冲,直接查询数据库(比如说不存在的Key)。

缓冲雪崩:大量缓存同时过期。

参考链接

「Redis - 大厂程序员是怎么用的」第五届字节跳动青训营 - 后端专场 (juejin.cn)