Redis｜ 青训营笔记

用户4023757010653
83 阅读3分钟

这是我参与「第五届青训营 」笔记创作活动的第9天

Redis

简介

为什么需要Redis

数据从单表，演进出了分库分表 MySQL从单机演进出了集群

  • 数据量增长
  • 读写数据压力的不断增加

数据分冷热

  • 热数据：经常被访问到的数据

将热数据存储到内存中

Redis基本工作原理：

  • 数据从内存中读写
  • 数据保存到硬盘上防止重启数据丢失
    • 增量数据保存到AOF文件
    • 全量数据RDB文件
  • 单线程处理所有操作命令

应用案例

  1. 连续签到

    用户每日有一次签到的机会，如果断签，连续签到计数将归0。

    可设置key为用户id，value为签到日期，过期时间为后天0点。

    使用INCR：

    • Redis Incr 命令将 key 中储存的数字值增一。
    • 如果 key 不存在，那么 key 的值会先被初始化为 0 ，然后再执行 INCR 操作。

    数据结构：sds

    • 可以储存字符串、数字、二进制数据
    • 通常和expire配合使用
    • 场景：存储计数、session
    • 指针指向结构体中间，往左读取元信息，往右读取值

  2. 消息通知

    用list作为消息队列

    lpush存入list，rpop取出处理，先进先出。

    数据结构：QuickList

    • 由一个双向链表和listpack实现
    • listpack存储一个或多个节点，需要存储值和额外的元信息

  3. 计数

    一个用户有多项计数需求，可通过hash结构存储

    数据结构dict：

    • rehash：槽位不够时需要扩容，开辟一块新的ht[1]空间并将ht[0]中的数据全部迁移，数据量小的情况下速度较快。存有上百万KV时，迁移过程将会明显阻塞用户请求。
    • 渐进式rehash：每次用户访问时都会迁移少量数据。将整个迁移过程，平摊到所有访问。

  4. 排行榜

    积分变化时，排名要实时变更

    zset数据结构：zskiplist

    • 跳跃表

  5. 限流

    对key调用incr，超过限制禁止访问

  6. 分布式锁

    使用redis的setnx实现，利用了两个特性：

    • Redis是单线程执行命令
    • setnx只有未设置过才能执行成功

使用注意事项

大key

定义

  • String类型：value字节数大于10KB即为大key
  • Hash/Set/Zset/list等复杂数据结构类型：元素个数大于5000个或总value字节数大于10MB即为大key

危害

  • 读取成本高
  • 导致慢查询（过期、删除）
  • 主从复制异常、服务阻塞、无法正常响应请求

表现：

  • 请求Redis超时报错

解决：

  • 拆分为小key，分段存储
  • 压缩：平衡压缩率和解压时间
  • 复杂结构：区分冷热，只缓存热数据

热key

定义：访问一个key的QPS特别高，导致Server实例出现CPU负载突增或者不均的情况

解决：

  • 设置LocalCache
  • 拆分：不同的key相同value，存在更新时数据短暂不一致风险
  • 使用Redis代理：结合热Key发现、LocalCache

慢查询

  • 一次传入过多key/value，如mset/hmset/zadd/sadd等O(n)操作。建议单批次不要超过100
  • zset大部分命令都是O(log(n))，当大小超过5k以上时，简单的zadd/zrem也可能导致慢查询
  • 操作的单个value过大，超过10KB。也即，避免使用大key
  • 对大key的delete/expire操作也可能导致慢查询

缓存穿透

热点数据查询绕过缓存，直接查询数据库

  • 查询一个一定不存在的数据
  • 缓存过期时

减少方法：

  • 缓存空值
  • 布隆过滤器

缓存雪崩

大量缓存同时过期

避免方法：

  • 通过随机量分散过期时间
  • 使用缓存集群，避免单机宕机造成的缓存雪崩
avatar
文章
阅读
粉丝