Redis | 青训营笔记

47 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 17 天

Redis基本工作原理

  • 数据从内存中读写
  • 数据保存到硬盘上防止重启数据丢失
    • 增量数据保存到AOF文件
    • 全量数据RDB文件
  • 单线程处理所有操作命令

Redis应用案例

  1. 连续签到- String数据结构
  2. 消息通知-List数据结构Quicklist
  3. 计数-Hash数据结构dict
  4. 排行榜- zset数据结构zskiplist
  5. 限流
  6. 分布式锁

注意事项

  1. 大Key、热Key
    • 消除大Key的方法
  • 拆分:将大Key拆分为小Key。例如一个String拆分成多个String
  • 压缩:将value压缩后写入redis,读取时解压后再使用。压缩方法可以是gzip、snappy、lz4等。通常情况下,一个压缩算法压缩率高、则解压耗时就长。需要对实际数据进行测试后,选择一个更合适的算法。如果存储的是JSON字符串,可以考虑使用MessagePack进行序列化。
    • 解决热Key的方法
  • 设置Localcache:在访问Redis前,在业务服务侧设置Localcache,降低访问Redis的QPS。LocalCache中缓存过期或未命中。则从Redis中将数据更新到LocalCache。Java的Guava、Golang的Bigcache就是这类LocalCache。
  • 拆分:将key:value这一个热key复制写入多份,例如key1:value,key2:value,访问的时候访问多个Key,但value是同一个,以此将qps分散到不同实例上,降低负载。代价是,更新时需要更新多个key,存在数据短暂不一致的风险。
  • 使用Redis代理的热Key承载能力:字节跳动的Redis访问代理就具备热key承载能力。本质上是结合了“热key发现”、“KocalCache”两个功能。
  1. 慢查询场景
  • 批量操作一次性传入过多的key/value,如mset/hmset/sadd/zadd等O(n)操作
  • zset大部分命令都是O(log(n)),当大小超过5k以上时,简单的zadd/zrem也可能导致慢查询
  • 操作的单个value过大,超过10kb。避免使用大Key
  • 对大key的delete/expire操作也可能导致慢查询,Redis4.0之前不支持异步删除unlink,大key删除会阻塞Redis。
  1. 缓存穿透、缓存雪崩
  • 如何减少缓存穿透
    • 缓存空值:如一个不存在的userId。这个id在缓存和数据库中都不存在。则可以缓存一个空值,下次再查询缓存直接返回空值。
    • 布隆过滤器:通过bloom filter算法来存储合法key,得益于该算法超高的压缩率,只需要占用极小的空间就能存储大量的KEY值。
  • 如何避免缓存雪崩
    • 缓存空值:将缓存失效时间分散开,比如在原有的失效时间基础上增加一个随机值,例如不同key过期时间,可以设置为10分1秒过期,10分23秒过期,10分8秒过期。单位秒部分就是随机时间,这样过期时间就分散了。对于热点数据,过期时间尽量设置得长一些,冷门的数据可以相对设置过期时间短一些。
    • 使用缓存集群,免单击宕机造成的缓存雪崩。

总结

通过本次Redis课程的学习,了解了Redis的运用场景和原理。也明白了为什么要引入Redis,以及Redis在于实际中的一些问题和这些问题的解决方法等。